Как прикрутить Redis к парсеру на Python?

Pavel Denisov: Спасибо!

Как прикрутить Redis к парсеру на Python?

Сейчас это выглядит вот так:

from multiprocessing import Pool

with Pool(150) as p:
        p.map(parse_all, url_list)

Как прикрутить Redis к парсеру на Python?

Сейчас у меня пул в 150 воркеров, тогда все-таки Redis или другая DB?

Как прикрутить Redis к парсеру на Python?

Где искать документацию я знаю, спасибо!)))

Как прикрутить Redis к парсеру на Python?

Pavel Denisov: А потом при новом запуске открываем файл и сравнивать со списком всех ссылок и удалять из списка те что в файле? Или может сразу записать все ссылки в файл и удалять из файла после того как спарсил?

Как запустить web driver chrome без открытия окна броузера(т.е. фоном)?

На винде не тестировал, а на Ubuntu все работет с этим кодом. То есть запускаете виртуальный дисплей :

from pyvirtualdisplay import Display
chromedriver = '/путь/к/драйверу/chromedriver'
os.environ["webdriver.chrome.driver"] = chromedriver
display = Display(visible=0, size=(800, 600))
display.start()
browser = webdriver.Chrome(chromedriver)

Вуаля!

Как запустить web driver chrome без открытия окна броузера(т.е. фоном)?

Scrapy не подходит потому что аутентификация на сайте проходит только с предустановленным плагином дополнительной защиты от сайта. И второй момент то что сайт на .net и адрес страницы после перехода на следующую страницу не всегда меняется.

Как запустить web driver chrome без открытия окна броузера(т.е. фоном)?

Firefox подходит, но он тоже вылезает. PhantomJS не подходит потому что аутентификация на сайте проходит только с предустановленным плагином дополнительной защиты от сайта.

Удаление с сервера не связанных с сайтом файлов?

Вот какой ответ я искал! Круто! Спасибо!

Удаление с сервера не связанных с сайтом файлов?

Спасибо! Попробую совместить оба способа.

Удаление с сервера не связанных с сайтом файлов?

А если речь идет о тысячах файлов? То есть только кропотливый труд?