Какие технологии использовать для постоянного мониторинга страниц?

Question

[heavig2]

Пишу небольшой сервис для своих нужд. Основной функционал будет состоять из двух этапов:
1. Получение позиции сайта через Яндекс.XML;
2. Постоянный мониторинг страниц сайта (более миллиона страниц), чтобы в нем присутствовали все нужные элементы.

Изучал вопрос, решил остановиться на Gearman. Есть несколько вопросов:
1. Правильный ли выбор? Или есть более хорошие аналоги?
2. Можно ли получать от Gearman данные, к примеру позицию сайта по запросу?

Comments

[Сергей Соколов]

Gearman, который очередь задач?
Разве планируется многосерверная система?

[d'Ivan]

С какой периодичностью должны выполняться 1 и 2?

[heavig2]

Роман Мирр, Нужно на постоянной основе.

[d'Ivan]

heavig2, разве позиции сайтов меняются так часто?

[heavig2]

Роман Мирр, Мне позиции сайта нужно снимать по 40 000 запросам. Поэтому и хотел сделать это через gearman, чтобы поставить их в очередь и по одному снимать. Если даже брать по 2 секунды на один запрос, то это будет практически 23 часа. И, следовательно, уже нужно снимать еще раз.

[d'Ivan]

heavig2, можно получать страницы многопоточно/корутинами (если обрабатывать множество URL, скажем, 10) и тогда все будет на порядок быстрее.

Answer 1

[Dimonchik]

1) https://www.rabbitmq.com/
2) ну, без Яндекса-то вряд ли кто сообщит такое, а вот с яндексом как раз вся сложность

Answer 2

[d'Ivan]

1-й сервис периодически сканирует результаты позиций сайтов. При получении каждого отдельного результата сайта или определенного их количества (скажем, 10), отправляется задача в очередь "ПозицииСайтов".
2-й сервис-воркер в необходимом количестве экземпляров получает задачи по сканированию из "ПозицииСайтов". При этом фиксируется в БД начало операции сканирования сайта и по окончанию проверки помечается что задача выполнена.