Что делать с проблемой при парсинге сайта?

Question

[Максим Василенко]

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from random import choice

    
def main():
    url = '--url--'
    useragents = open('useragents.txt').read().split('\n')
    proxies = open('proxies').read().split('\n')

    proxy = {'http' : 'http://' + proxies[0]}
    useragent = {'User-Agent' : choice(useragents)}

    opts = Options()

    opts.add_argument("user-agent=" + str(useragents[0]))
    opts.add_argument('--proxy-server=http://' + proxies[0])
    driver = webdriver.Chrome(executable_path=r'--path to chromedriver--',chrome_options=opts)
    driver.get(url)
    print(driver.find_element_by_class_name('ip').text())


if __name__ == '__main__':
    main()

Испoльзую web-browser slenium для для нахождения свободных дат на сайте посольства. После нескольких минут работы
сайт не пускает и выдает ошибку(Не удается получить доступ к сайту). User-agent's меняю, proxy купленный. Как сайт определяет что работает бот??

Comments

[Сергей c0re]

где же вы их меняете??
все время выбираются первые:

opts.add_argument("user-agent=" + str(useragents[0]))
  opts.add_argument('--proxy-server=http://' + proxies[0])

[500rur]

Зачем здесь используется Селениум? Может, requests будет достаточно?

[IvanSstarr]

А у Вас есть рабочий механизм по изменению user-agent уже после запуска браузера?
Задавал этот вопрос тут но наверно никто не знает:
Как изменить User Agent в Selenium WebDriver c помощью ExecuteScript?

Answer 1

[Dimonchik]

по ИП прокси, например

или никак - просто блочит частые попытки с IP

Comments

[Максим Василенко]

проблема решена.спасибо!