Как сделать бесконечный многопоточный парсинг данных?

Question

[maksam07]

Добрый день! Пишу сайт на джанго, некую аналитику десятков сайтов. И у меня появились задачи:
1. Как сделать многопоточный парсинг данных по урл? Предположим, их 100. Читал про multiprocessing Pool (+requests, +BeautifulSoup) и даже уже реализовал вариант парсинга при помощи него, но интересует мнение экспертов, как это правильнее делать.
2. После окончания парсинга (задача 1), мне нужно чтобы задача снова сразу вступила в работу и так продолжалось всегда, пока сайт/сервер работают. Работал только с кроном, но там такое реализовать не получится
2.2. Возможно, если задача выполнилась слишком быстро, например, в течение 2-х секунд, то сделать блок, чтобы новая задача не запускалась раньше, чем через 10 секунд после запуска предыдущей. В теории это делается на серверной стороне, но вдруг в решении задачи 2 будет нативная какая-то настройка с ограничениями

Answer 1

[Сергей Горностаев]

Celery

Comments

[maksam07]

Слышал о нем, но еще не изучал работу данной библиотеки. Она сможет полностью закрыть мои требования?

[Сергей Горностаев]

Максим Компаниец, это стандартное решение для фоновых задач в Django.

[maksam07]

Сергей Горностаев, в ходе работы данная задача ушла на далекий задний план, поэтому заранее отмечу ответ верным, т.к. в любом случае это тоже в том направлении)

Answer 2

[Владимир Коротенко]

Любая очередь. Только в коде тасков ставите добавление таска снова.