Какие менеджеры выполнения PHP-скриптов существуют?

Question

[Дмитрий Б]

Добрый день. Нужно поэтапно парсить большое количество данных с определенных сайтов. Так как за один проход скрипта все сделать не получится, нужно разбить парсинг на этапы (подзадачи).
Слышал, что есть менеджеры выполнения PHP-скриптов, подскажите пожалуйста.

Answer 1

[Ken Jee]

Я думаю в вашем случае будет лучше написать shell-скрипт для управления скриптами, ну и создать расписание в cron для его вызова по времени.

Вместо shell-скрипта можно также написать собственный менеджер на том же PHP ориентируясь на функции exec или system.

Comments

[Дмитрий Б]

Это не подходит. Будут сложные условия выполнения (интервалы, параллельное выполнение, динамическое создание подзадач)

[Дмитрий Б]

Спасибо, свой менеджер как раз один из вариантов, но возможно уже есть подобные решения

Answer 2

[Дмитрий Б]

Нашел интересные варианты:
1. www.rabbitmq.com
https://ru.wikipedia.org/wiki/RabbitMQ
2. gearman.org
habrahabr.ru/post/123451

Comments

[Алексей]

в дополнении к вашему списку есть ещё beanstalkd

[Дмитрий Б]

Алексей: спасибо

Answer 3

[Дмитрий Евграфович]

крон наше все

Comments

[Дмитрий Б]

Нет, крон не всё наше

[Дмитрий Евграфович]

Дмитрий Байбухтин: чем он не устраивает в данном случае?

[Дмитрий Б]

Дмитрий Евграфович: когда строят машину одних колёс мало