BadCats
@BadCats

Использование socks5 в Selenium?

Пример со SO:
from selenium import webdriver
import os

# To use Tor's SOCKS proxy server with chrome, include the socks protocol in the scheme with the --proxy-server option
# PROXY = "socks5://127.0.0.1:9150" # IP:PORT or HOST:PORT

torexe = os.popen(r'C:\Users\Debanjan.B\Desktop\Tor Browser\Browser\TorBrowser\Tor\tor.exe')
PROXY = "socks5://localhost:9050" # IP:PORT or HOST:PORT
options = webdriver.ChromeOptions()
options.add_argument('--proxy-server=%s' % PROXY)
driver = webdriver.Chrome(chrome_options=options, executable_path=r'C:\Utility\BrowserDrivers\chromedriver.exe')
driver.get("http://check.torproject.org")

- источник https://stackoverflow.com/questions/55689701/how-t...
Мой код:
start_url = 'SOMESITE'
if platform.system() == 'Windows':
    web_driver_location_path = 'web_drivers\\Windows\\chromedriver.exe'
    chrome_binary_location_path = "C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe"
    Tor_binary=r'E:\Tor\Tor Browser\Browser\firefox.exe'
elif platform.system() == 'Linux':
    web_driver_location_path = 'web_drivers/Linux/chromedriver'
    chrome_binary_location_path = "/usr/bin/google-chrome-stable"



#add Tor
torexe = os.popen(Tor_binary)
PROXY = "socks5://localhost:9150" # IP:PORT or HOST:PORT
options = webdriver.ChromeOptions()
options.add_argument('--proxy-server=%s' % PROXY)

options.add_argument('headless')  # для открытия headless-браузера
options.add_argument(f'user-agent={user_agent}')
options.add_argument("enable-automation")
options.add_argument("--headless")
options.add_argument("--no-sandbox")
options.add_argument("--disable-extensions")
options.add_argument("--dns-prefetch-disable")
options.add_argument("--disable-gpu")


options.binary_location = chrome_binary_location_path
browser = webdriver.Chrome(chrome_options=options, executable_path=web_driver_location_path)

- при этом, все равно получаю капчу и ответ, что превышен лимит запросов.
Причем, как я понял, указывая "socks5://127.0.0.1:9150" - я свой хост добавляю в цепочку прокси? И следовательно - это должно скрывать мой ип - меня его на ип серверов из цепочки - при совершении запросов к сайту?
  • Вопрос задан
  • 1599 просмотров
Решения вопроса 1
@rPman
Выходные ноды тора общеизвестная информация и многие веб-сервисы учитывают это при подсчете лимитов (или просто все ip адреса уже использованы другими и улетели в бан автоматом)
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы