Как реализовать непрерывное выполнение динамически изменяющегося кол-ва задач на gearman?

Question

[Дмитрий]

Доброе время суток!

Есть цепочка задач. Для наглядности опишу.

• Парсер ищет и сравнивает названия(товаров например) на нескольких сайтах(пока 3, но будет больше)
  
• По списку совпавших названий парсятся страницы с хар-ками товаров
  
• Затем хар-ки сравниваются и расхождения складываются в бд
  

В данный момент клиент отправляет задачи воркеру, и функция намеренно зацикливается для постоянной отработки(раз в 5 сек).

Как правильно организовать непрерывное и параллельное(потому что таких цепочек несколько, в зависимости от кол-ва категорий товаров) выполнение данных цепочек?
А так же, товаров может быть много(более 40) и приходится долго ждать ответа от сайта, поэтому их тоже нужно как то разбить(например по 20 шт).

Правильный ли выбор - gearman?
Подскажите, может есть у кого нибудь опыт в это? Если можно несколько нормальных примеров(документации по gearman-у не хватает).

Спасибо!

Answer 1

[Dimonchik]

правильный выбор тот, что знаете

Gearman довольно хорошо описан, значит - правильный
можете размахнуться на RabbitMQ, но для "40 товаров" это over

организовать: ставите метки готовности данных/шага, в зависимости от метки посылаете в работу следующий шаг

Comments

[Дмитрий]

от 40 товаров в каждой категории(например 10) это уже 10 циклов которые должны выполнится в течение 5сек и запустится снова.

Сейчас работают 3 виртуальных сервера по 4 ядра каждый и если товаров более чем по 40 они неплохо напрягаются.

Еще вопрос. Есть ли смысл в разделение одного сервера на 3 виртуальных?

[Dimonchik]

ну так в Gearman же есть параллельное (ну или псевдопаралельное, не помню) выполнение - отправляйте пакет сразу на 10 воркеров

имеете в виду - 3 вирт и на каждом по Gearman серверу? у вас же не сотни запросов, зачем? разберитесь лучше с кодом: один код доставляет контент, другой - его разбирает, а не в одном

[Дмитрий]

Тогда подскажите куда лучше будет сохранять страницы, в файл или в бд. Просто объем информации большой, иногда превышает размеры поля типа text

[Dimonchik]

есть три вида где хранить: необработанные - конечно в файл, они же пролежат недолго, обработанное - ессно, в БД; ну можете, если хотите , в NoSQL засовывать, но, еще раз, это на 5-60 минут, нет смысла, да и файл - всегда файл, в то время как БД еще целостность, да и в размерах растет, просто так не уменьшаясь