Как обработать большое количество информации разом, использую Cron?

Question

[p19e0n]

Добрый день, господа! Задача состоит в следующем: с огромного количества ссылок взять определенную информацию и записать ее в БД(каждые 2 часа по Cron).
Если записывать их одним PHP файлом, то уйдет уйму времени и при непредусмотренной ошибке все пойдет крахом.
Первая идея пришедшая мне в голову это создать множество файлов PHP-файлов и запустить их скриптом sh, но этих самых ссылок очень большое количество и по итогу файлов может получится больше 1000.
Как правильно реализовать эту задачу?

Comments

[Артур]

Зачем много файлов? Если уж хочется разбить, запустите один файл несколько раз, но не знаю есть ли в этом смысл.

Answer 1

[Иван Шумов]

Давно я этого не говорил, но! Очереди вам в помощь. RabbitMQ, например, как брокер. Раз в 2 часа накидываете одним скриптом в него задач, а с другой стороны очереди ставите сколько угодно одинаковых обработчиков. Чем больше тем быстрее обработка

Answer 2

[Дмитрий Шицков]

Вот вариант
https://andy-blog.ru/ispolzovanie-curl_multi_exec-v-php