Как решить проблему с прокси в selenium?

Question

[Bergis]

Подскажите как можно исправить ошибку , из-за которой хром не использует данный ему прокси

import os
import zipfile

from selenium import webdriver
import undetected_chromedriver.v2 as uc

PROXY_HOST = ''  # rotating proxy or host
PROXY_PORT =  # port
PROXY_USER = '' # username
PROXY_PASS = '' # password


manifest_json = """
{
    "version": "1.0.0",
    "manifest_version": 2,
    "name": "Chrome Proxy",
    "permissions": [
        "proxy",
        "tabs",
        "unlimitedStorage",
        "storage",
        "<all_urls>",
        "webRequest",
        "webRequestBlocking"
    ],
    "background": {
        "scripts": ["background.js"]
    },
    "minimum_chrome_version":"22.0.0"
}
"""

background_js = """
var config = {
        mode: "fixed_servers",
        rules: {
        singleProxy: {
            scheme: "socks5",
            host: "%s",
            port: parseInt(%s)
        },
        bypassList: ["localhost"]
        }
    };

chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

function callbackFn(details) {
    return {
        authCredentials: {
            username: "%s",
            password: "%s"
        }
    };
}

chrome.webRequest.onAuthRequired.addListener(
            callbackFn,
            {urls: ["<all_urls>"]},
            ['blocking']
);
""" % (PROXY_HOST, PROXY_PORT, PROXY_USER, PROXY_PASS)


def get_chromedriver(use_proxy=False, user_agent=None):
    path = os.path.dirname(os.path.abspath(__file__))
    options = uc.ChromeOptions()
    if use_proxy:
        pluginfile = 'proxy_auth_plugin.zip'

        with zipfile.ZipFile(pluginfile, 'w') as zp:
            zp.writestr("manifest.json", manifest_json)
            zp.writestr("background.js", background_js)
        options.add_extension(pluginfile)
    if user_agent:
        options.add_argument('--user-agent=%s' % user_agent)
    driver = uc.Chrome(options=options)
    return driver

def main():
    driver = get_chromedriver(use_proxy=True)
    #driver.get('https://www.google.com/search?q=my+ip+address')
    driver.get('https://httpbin.org/ip')

if __name__ == '__main__':
    main()

Answer 1

[UberPool]

Перестань использовать расширение для этого!
Используй либу для этого.
Код:

import chromedriver_binary
from selenium import webdriver
from seleniumwire import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager

chrome_options = Options()

chrome_options.add_argument("--headless")


username = ''
password = ''
ip = ''
port = 1

proxy = f'{username}:{password}@{ip}:{port}'
options = {

    'proxy': {
        'https': f'https://{proxy}',
    }
}
driver = webdriver.Chrome(ChromeDriverManager().install(),seleniumwire_options=options, options=chrome_options)
#уже с прокси делаешь что-то
#заходишь на сайты и тд

Comments

[Bergis]

Переделал https на socks5

proxy = f'{username}:{password}@{ip}:{port}'
options = {

    'proxy': {
        'socks5': f'socks5://{proxy}',
    }
}

И добавил проверку ip

driver.get('https://httpbin.org/ip')
sleep(1000)

потом попытался запустить ваш код , после чего программа остановилась после этого :

Current google-chrome version is 91.0.4472
Get LATEST driver version for 91.0.4472
Driver [C:\Users\User\.wdm\drivers\chromedriver\win32\91.0.4472.101\chromedriver.exe] found in cache

DevTools listening on ws://127.0.0.1:64103/devtools/browser/168241f9-ed18-4356-b4d5-7f3903e92580

Можете подсказать из-за чего это случилось ?

[UberPool]

Bergis, так а что не так?там же стоит chrome_options.add_argument("--headless")
уберите эту строчку и посмотрите

[Bergis]

UberPool, а возможно ли использовать прокси с авторизацией , используя библиотеку undetected_chromedriver.v2 ?

[UberPool]

Bergis, Не скажу,не пробовал,попробуйте реализовать.