Как правильно подключить прокси в Selenium на Python?

Question

[Orakin]

Есть код на python для парсинга, использую selenium, купил недавно прокси с proxy 6, но не получается подключить их, каждый раз когда запускаю скрипт, выдает ошибку на странице, что я делаю не так?

options = webdriver.ChromeOptions()
options.add_argument('start-maximized')
options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_experimental_option('useAutomationExtension', False)
options.add_argument(f'--proxy-server=https://{login}:{password}@45.145.57.201:13231')
driver = webdriver.Chrome(options=options)

Ошибка, которую выдает браузер:

Answer 1

[Максим Припадчев]

https://www.zenrows.com/blog/selenium-proxy#proxy-...
там есть код для proxy которые требуют аутентификацию. Я так понял твой требует и без нее не работает.

Comments

[Orakin]

Да, так как это приватные прокси, они просят аутентификацию, но я по идее ее прохожу:

options.add_argument(f'--proxy-server=https://{login}:{password}@45.145.57.201:13231')

тут в login и password передаю свой пароль и логин, в документации которую ты скинул тоже самое

[Максим Припадчев]

Orakin, Нет не тоже самое. pip install selenium-wire

from seleniumwire import webdriver
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By

# Selenium Wire configuration to use a proxy
proxy_username = 'fgrlkbxt'
proxy_password = 'cs01nzezlfen'
seleniumwire_options = {
    'proxy': {
        'http': f'http://{proxy_username}:{proxy_password}@185.199.229.156:7492',
        'verify_ssl': False,
    },
}

driver = webdriver.Chrome(
    seleniumwire_options=seleniumwire_options
)
driver.get('http://httpbin.org/ip')
print(driver.find_element(By.TAG_NAME, 'body').text) # { "origin": "185.199.229.156" }

Вот пример использования proxy c аутентификацией.

[Максим Припадчев]

Orakin, Дойди в ссылке что я скинул до вот этого заголовка Proxy Authentication with Python Selenium: Username & Password и прочитай там как пишут, что так как ты используешь не сработает и приводят пример как надо.

[Orakin]

Максим Припадчев, Понял, что бы использовать прокси с аутентификацией надо использовать seleniumwire, теперь у меня хоть какую то картинку выдает, правда когда я меняю сайт с того который в документации на тот что мне нужен с проверкой ip, браузер закрывается и выдает ошибку в терминал, ту же ошибку, что и в прошлый раз(картинку прикрепил к вопросу). Сама ошибка в терминале выглядит так:

selenium.common.exceptions.WebDriverException: Message: unknown error: net::ERR_TUNNEL_CONNECTION_FAILED

[Максим Припадчев]

Orakin, А другие пробовал? На все не работает или только на "твой сайт"?

[Orakin]

Максим Припадчев, Я разобрался в чем дело, у меня прокси IPv6, а "мой сайт" не поддерживает IPv6, похоже поэтому и не работало, я зашел на ютуб, а он поддерживает и все работает как положено. Спасибо большое за помощь, у меня не так много опыта в этих делах, а этот сайт и люди как вы очень помогаете решать проблемы

[Максим Припадчев]

Orakin, кстати вот это внимательно изучай с github и пробуй что люди говорят, там такая же ошибка после selenium-wire и там все это дело обсуждается. https://github.com/wkeeling/selenium-wire/issues/424

Answer 2

[zax2002]

Ещё можно сделать без selenium-wire. При открытии браузера загружается расширение, которое настраивает прокси с аутентификацией

import tempfile
import contextlib
from urllib.parse import urlparse

from selenium import webdriver
from selenium.webdriver.chrome.options import Options


class ChromeExtended(webdriver.Chrome):
    def __init__(self, *args, options=None, proxy=None, **kwargs):
        options = options or Options()

        if proxy:
            context = tempfile.TemporaryDirectory()
        else:
            context = contextlib.nullcontext()

        with context as extensionDirpath:
            self._setupProxy(extensionDirpath, proxy, options)

            super().__init__(*args, options=options, **kwargs)

    def _setupProxy(self, extensionDirpath, proxy, options):
        if not proxy:
            return

        parsedProxy = urlparse(proxy)

        manifest_json = '{"version":"1.0.0","manifest_version":2,"name":"Chrome Proxy","permissions":["proxy","tabs","unlimitedStorage","storage","<all_urls>","webRequest","webRequestBlocking"],"background":{"scripts":["background.js"]},"minimum_chrome_version":"22.0.0"}'
        background_js = 'var e={mode:"fixed_servers",rules:{singleProxy:{scheme:"%s",host:"%s",port:parseInt(%s)},bypassList:["localhost"]}};chrome.proxy.settings.set({value:e,scope:"regular"},(function(){})),chrome.webRequest.onAuthRequired.addListener((function(e){return{authCredentials:{username:"%s",password:"%s"}}}),{urls:["<all_urls>"]},["blocking"]);' \
            % (parsedProxy.scheme, parsedProxy.hostname, parsedProxy.port, parsedProxy.username, parsedProxy.password)

        with open(f"{extensionDirpath}/manifest.json", "w", encoding="utf8") as f:
            f.write(manifest_json)
        with open(f"{extensionDirpath}/background.js", "w", encoding="utf8") as f:
            f.write(background_js)

        options.add_argument(f"--load-extension={extensionDirpath}")

b = ChromeExtended(proxy="http://aaaaaaa:aaaaaa@100.100.100.100:8888")
b.get("https://www.whatismyip.com/")
input()