@p19e0n

Как обработать большое количество информации разом, использую Cron?

Добрый день, господа! Задача состоит в следующем: с огромного количества ссылок взять определенную информацию и записать ее в БД(каждые 2 часа по Cron).
Если записывать их одним PHP файлом, то уйдет уйму времени и при непредусмотренной ошибке все пойдет крахом.
Первая идея пришедшая мне в голову это создать множество файлов PHP-файлов и запустить их скриптом sh, но этих самых ссылок очень большое количество и по итогу файлов может получится больше 1000.
Как правильно реализовать эту задачу?
  • Вопрос задан
  • 134 просмотра
Пригласить эксперта
Ответы на вопрос 2
inoise
@inoise
Solution Architect, AWS Certified, Serverless
Давно я этого не говорил, но! Очереди вам в помощь. RabbitMQ, например, как брокер. Раз в 2 часа накидываете одним скриптом в него задач, а с другой стороны очереди ставите сколько угодно одинаковых обработчиков. Чем больше тем быстрее обработка
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
23 янв. 2020, в 10:10
1000 руб./за проект
23 янв. 2020, в 09:11
1000 руб./за проект
23 янв. 2020, в 09:03
500 руб./в час