Как запустить Python+PhantomJS+Selenium через прокси лист?

Question

[TechNOIR]

Доброго времени суток господа!
Вообщем есть код:

from selenium import webdriver
browser=webdriver.PhantomJS()
service_args = [
    '--proxy=10.10.20.20:3128',
    '--proxy-type=http',
    ]
browser = webdriver.PhantomJS(service_args=service_args)
browser.get('http://check-host.net/ip')
browser.quit()

Соответственно меняя в скрипте proxy и его тип - всё работает.
Но хочется реализовать чтобы значения в proxy менялись из текстового файлика, в котором друг за другом идут прокси.

Подгружается список прокси и для каждого выполняется скрипт.

Как можно это реализовать? Спасибо заранее.

Answer 1

[qlkvg]

with open('filename', 'r') as file:
    proxy_list = file.readlines()
for proxy in proxy_list:
    service_args = [
        '--proxy={}'.format(proxy),
        '--proxy-type=http',
        ]

В зависимости от того, что написано в файле, возможно придется форматировать строки. Если нужно, чтобы все выполнялось параллельно, нужно еще мультипроцессинг прикрутить

Comments

[TechNOIR]

В файле будут друг за другом идти, тоесть:
10.10.10.10:3128
20.10.10.10:3128
30.10.10.10:3128

И так далее. И выполнение скрипта по каждому пункту в файле.
Сейчас испробую. Спасибо!

[qlkvg]

Это хорошо, дополнительно форматировать не придется. Единственное на всякий случай можно еще прострипать каждый элемент массива, чтобы не было лишних терминальных символов или пробелов. Тогда будет не file.readlines() а [a.strip() for a in file.readlines()]

[TechNOIR]

qlkvg: Спасибо большое! А еще такой вопросик, на всякий пожарный. Вот он взял прокси пытается открыть страницу но не получается,либо долго ждет ответа, как сделать так чтобы он допустим после 20-30 секунд ожидания писал "Прокси недоступен" и переходил к другому?

[qlkvg]

driver.implicitly_wait(30) в try-except блоке, ловить ошибку по таймауту. Если не подразумевается никаких дальнейших действий со страницей, можно так. А вообще неявные ожидания - плохой тон, лучше всегда пользоваться явными ожиданиями. https://habrahabr.ru/post/273089/ - вот тут подробно все разобрано.

[TechNOIR]

qlkvg: Еще раз спасибо большое! Займусь этим вопросом.

[TechNOIR]

qlkvg: Добрый день. Есть еще вопросик. Видимо я чтото не так сделал. Из прокси листа пробуется первый и идёт сразу на выход, не пробуя следующий по списку прокси...

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
import time
with open('proxy.txt', 'r') as file:
proxy_list = [a.strip() for a in file.readlines()]
for proxy in proxy_list:
service_args = [
'--proxy={}'.format(proxy),
'--proxy-type=http',
]
browser=webdriver.PhantomJS(service_args=service_args)
browser.set_page_load_timeout(20)
try:
print("TRY PROXY")
browser.get('check-host.net/ip')
print ("Loaded.Wait.")
except TimeoutException:
print("cant load")
browser.get_screenshot_as_file('/var/www/html/img/po.png')
browser.quit()

[qlkvg]

1. без разметки непонятно, что к чему относится
2. proxy_list точно корректно заполнен?

[TechNOIR]

qlkvg:
1. Размечен так:

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
import time
with open('proxy.txt', 'r') as file:
    proxy_list = [a.strip() for a in file.readlines()]
for proxy in proxy_list:
    service_args = [
        '--proxy={}'.format(proxy),
        '--proxy-type=http',
        ]
browser=webdriver.PhantomJS(service_args=service_args)
browser.set_page_load_timeout(20)
try:
	print("TRY PROXY")
	browser.get('http://check-host.net/ip')
	print ("Loaded.Wait.")
except TimeoutException:
	print("cant load")
browser.get_screenshot_as_file('/var/www/html/img/po.png')
browser.quit()

2. Да. В том формате,что я Вам выше указывал
10.10.10.10:3128
20.20.20.20:3128
и так далее.

[qlkvg]

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
import time
with open('proxy.txt', 'r') as file:
    proxy_list = [a.strip() for a in file.readlines()]
for proxy in proxy_list:
    service_args = [
        '--proxy={}'.format(proxy),
        '--proxy-type=http',
        ]
    browser=webdriver.PhantomJS(service_args=service_args)
    browser.set_page_load_timeout(20)
    try:
      print("TRY PROXY")
      browser.get('http://check-host.net/ip')
      print ("Loaded.Wait.")
    except TimeoutException:
      print("cant load")
    browser.get_screenshot_as_file('/var/www/html/img/po.png')
browser.quit()

[TechNOIR]

qlkvg: Вроде заработало,спасибо огромное!
в строчке: browser.get_screenshot_as_file('/var/www/html/img/po.png')
Можно как то название сохраняемого файла заменить на какую нибудь переменную чтобы он создавал новый скриншот при использовании нового прокси из файла? Допусти вместо имени "po" чтобы был ip прокси или просто порядковый номер

[qlkvg]

'/var/www/html/img/po{}.png'.format(proxy)