Как использовать прокси с авторизацией в Selenium с Firefox на Python?

Question

[danis_2014]

Как использовать прокси с авторизацией с Selenium и Firefox на Python?
Вот используемые версии:

• Mozilla Firefox 60.0.1
  
• geckodriver 0.10.0
  
• selenium 3.12.0
  

Вот код:

from selenium import webdriver

proxy_host = "196.19.8.88"
proxy_port = 8000

fp = webdriver.FirefoxProfile()
fp.set_preference("network.proxy.type", 1)
fp.set_preference("network.proxy.http", proxy_host)
fp.set_preference("network.proxy.http_port", proxy_port)
fp.set_preference("network.proxy.https", proxy_host)
fp.set_preference("network.proxy.https_port", proxy_port)
fp.set_preference("network.proxy.ssl", proxy_host)
fp.set_preference("network.proxy.ssl_port", proxy_port)
fp.set_preference("network.proxy.ftp", proxy_host)
fp.set_preference("network.proxy.ftp_port", proxy_port)
fp.set_preference("network.proxy.socks", proxy_host)
fp.set_preference("network.proxy.socks_port", proxy_port)
fp.update_preferences()

driver = webdriver.Firefox(firefox_profile=fp)
driver.get('http://www.myip.dk/')
print(driver.find_element_by_id('ipv4address').find_element_by_tag_name('p').text)
driver.quit()

Он работает c прокси без авторизации, но с авторизацией вылезает такой alert:


Как пройти авторизацию?

Answer 1

[danis_2014]

В итоге решил использовать сервис, предоставляющий прокси с привязкой к ip. То есть нужда в авторизации просто пропала

Comments

[Александр Лебедев]

Чувак, прям спас, спасибо большое!

Answer 2

[Dimonchik]

может, проще все же Хром заюзать? с нужным юзерагентом?
достаточно будет

service_args = [
        '--proxy=192.168.0.1:3128',
        '--proxy-auth=login:pass'
]

в FF танцы с бубном навроде аддонов

Comments

[danis_2014]

Может я что-то не так делаю, но показывает мой ip (не прокси)

service_args = [
        '--proxy=196.19.8.80:8000',
        '--proxy-auth=yjd5Rn:29apJZ'
]

driver = webdriver.Chrome(service_args=service_args)
driver.get('http://www.myip.dk/')

[danis_2014]

chromedriver версии 2.37.544315, только недавно скачал

[Dimonchik]

упс, сорри

driver = webdriver.PhantomJS(executable_path=phantomjs_path, service_args=service_args)

это от Фантома

от Хрома см. тут, возможно,опции устарели - нет под рукой свежего прода

[danis_2014]

dimonchik2013, если использовать socks прокси (как в примере), то не работает вообще. Если https, то в итоге такой же alert вылезает

[danis_2014]

dimonchik2013, если через options делать, то уже появляется попытка подключения к прокси, но тоже в итоге alert с авторизацией появляется

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=196.19.8.80:8000')
chrome_options.add_argument('--proxy-auth=yjd5Rn:29apJZ')
chrome = webdriver.Chrome(chrome_options=chrome_options)
chrome.get("http://whatismyipaddress.com")

[Andy_U]

danis_2014, Поменяйте пароль. Вы его "засветили". Причем неоднократно.

[danis_2014]

Andy_U, это было сделано умеренно, чтобы если что люди могли тестить с ним

Answer 3

[Andy_U]

Установите cntlm.

Comments

[danis_2014]

Нашел в интернете примеры конфигураций. Не совсем понял для чего необходимо писать домен, если для входа в прокси мне достаточно адреса и логина с паролем

[Andy_U]

У Вас физическая машина с Linux'ом или виртуальная? И, там же, кажется, прямо в настройках сети можно пароль к прокси указать (с помощью environment переменных)?

Я запускаю cntlm на Windos хосте (чтобы в сотне мест пароль не задавть), а линух'у на виртуалке указываю его адрес.

[danis_2014]

Andy_U, физическая. Там окружение используется чтобы остальные программы использовали cntlm для передачи данных

[Andy_U]

danis_2014,

У вас в test.conf пароля или иного другого способа аутентификации нет, ну и коннекта нет. Возьмите говый вариант и исправляйте. А для вычисления правильного способа аутентификации запустите

cntlm.exe -u -H -a NTLMv2

Скрипт спросит правильный пароль и выведет несколько строк. Скопируйте их в cfg-файл...

[danis_2014]

Andy_U на скрине я пароль ввожу после "Password:". После этой команды ничего не запрашивается и не выводится

[Andy_U]

danis_2014, Пардон, после -u должно быть username. Я свой стер, а ваш забыл вставить.

Answer 4

[Emil Revencu]

Попробуйте вызвать url в виде:
http://username@password:196.19.8.88:8000

Comments

[danis_2014]

не помогло

[Emil Revencu]

sorry: http://username:password@196.19.8.88:8000

[danis_2014]

Emil Revencu, так тоже пробовал