Доброго времени суток, пишу парсер сайта, но столкнулся с проблемой того, что получаю блокировку за то, что веду себя как бот, решил использовать прокси так:
прокси https (перехожу по https) пробовал прокси http(переходил по ссылке http)
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
PROXY = "1.0.0.0:8080"
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=%s' % PROXY)
chrome = webdriver.Chrome(options=chrome_options)
chrome.get(mainUrl)
и
прокси socks5
options = Options()
options.add_argument(f'--proxy-server=socks5://' + proxy)
chrome_options = webdriver.ChromeOptions()
chrome = webdriver.Chrome(options=chrome_options)
chrome .get(mainUrl)
но получаю
failed to verify recaptcha - 116
Your activity is making our system think you're a bot.
Try to avoid opening this page in incognito mode or making repetitive actions.
Правильно ли я понимаю, что прокси нужны, чтобы не было такого?
К сожалению из-за js необходимо парсить в открытом окне браузера. Пробовал через инкогнито запускать. Не помогает. Прокси платные.
Может я не так делаю или не совсем правильно понимаю для чего прокси нужны
Как правильно использовать прокси?
Простой