Как прикрутить Redis к парсеру на Python?

Question

[Сергей Лутченко]

Сейчас пишу парсер под амазон, иногда вылезают ошибки которые прерывают парсинг и потом приходится все начинать сначала, а проработать он может несколько часов до обрыва.

Так вот, где-то читал что можно прикрутить Redis и после обрыва выполнения и поправки кода, можно запустить парсер с того момента на котором был прерван. То есть он пишет туда все ссылки которые уже обошел и не ходит по ним при следующем запуске.

Кто подскажет может или ссылку скинет?
Заранее благодарю!

Comments

[Сергей Лутченко]

Pavel Denisov: А потом при новом запуске открываем файл и сравнивать со списком всех ссылок и удалять из списка те что в файле? Или может сразу записать все ссылки в файл и удалять из файла после того как спарсил?

[Сергей Лутченко]

Сейчас у меня пул в 150 воркеров, тогда все-таки Redis или другая DB?

[Сергей Лутченко]

Сейчас это выглядит вот так:

from multiprocessing import Pool

with Pool(150) as p:
        p.map(parse_all, url_list)

[Сергей Лутченко]

Pavel Denisov: Спасибо!

Answer 1

[Кирилл]

https://redis-py.readthedocs.io/en/latest/

Comments

[Сергей Лутченко]

Где искать документацию я знаю, спасибо!)))