qlkvg

ну первая же ссылка в гугле - stackoverflow.com/questions/17533024/how-to-set-se...

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
browser = webdriver.PhantomJS()
browser.set_page_load_timeout(30)
try:
    browser.get('https://yandex.ru')
except TimeoutException:
    print("can't load page")
browser.quit()

with open('filename', 'r') as file:
    proxy_list = file.readlines()
for proxy in proxy_list:
    service_args = [
        '--proxy={}'.format(proxy),
        '--proxy-type=http',
        ]

В зависимости от того, что написано в файле, возможно придется форматировать строки. Если нужно, чтобы все выполнялось параллельно, нужно еще мультипроцессинг прикрутить

https://github.com/pkolt/design_patterns

1. Никакой проблемы в нескольких потоках создавать несколько драйверов нет. Если умеешь в многопоточность как концепцию, конечно.
2. PhantomJS работает без гуя и требует относительно мало ресурсов - в этом его преимущество. В headless mode умеет еще geckodriver (firefox), но он более прожорливый. Зато можно всегда этот headless mode отключить и посмотреть, что происходит.
3. В целом все это работает примерно так: ваша программа -> библиотека selenium -> selenium server(открывается на локалхосте) -> драйвер браузера -> браузер. Соответственно язык может быть любой из тех, для которых есть библиотека, а браузер любой из тех, для которых написан драйвер.

re.findall("is.*?(\d{3,6}).*num", str)
Про жадные и ленивые квантификаторы - stackoverflow.com/questions/2301285/what-do-lazy-a...

1. разобраться, куда делся pycompile. Если его нет в /usr/bin или /usr/local/bin, то скачать пакет python-minimal и ручками положить на место.
2. dpkg --configure -a
если не прокатит, смотреть вывод и думать дальше. Если есть aptitude - можно посмотреть, что скажет aptitude install.

https://www.youtube.com/watch?v=eRSJSKG4mDA - весьма подробное руководство, как авторизоваться через requests. вкратце - подняли сессию, гетнули страницу авторизации, нашли crsf-токен, передали его через хедеры.

1. посмотреть в браузере в консоли разработчика, что происходит при отправке формы. скорее всего там будет POST-запрос с кучей параметров.
2. Повторить это запрос с помощью requests. что-то около того

session.headers.update({"request_header1": "request_value1"})
params = {"param1": "value1"}
session.post("https://site.com", data=params)

В общем случае так, но всегда есть ньюансы. Где-то нужно найти и передать crsf-токен, где-то в точности повторить content-type передаваемых параметров etc

Таблица рисуется не статически, а в результате ajax-запросов. Если не нужна высокая скорость, можно взять selenium и не париться - он отрендерит страницу, а дальше любым способом можно будет спарсить необходимые данные. Если время критично/ресурсов мало/хочется прокачать скилл - то надо смотреть в консоли разработчика во вкладке network, что вообще происходит со страницей при загрузке и как формируется таблица.

Как самое универсальное и простое решение - https://pypi.python.org/pypi/schedule. Правило задавать в виде schedule.every().day.at("8:30").do(job), даже парсить ничего не надо=)
А так в зависимости от платформы вариантов масса - cron, планировщик windows etc

import re
...
res=[h for h in l if re.match("^[f-l].{0,}", h.name.lower())]