Есть ли смысл использовать очередь в задачах Cron?
У меня есть cron задача которая каждый час парсит ~50 страниц какого-то сайта.
На каждой странице есть 100 блоков товаров (допустим), и по идентификатору происходит создание/обновление данных по каждому товару в БД.
Стоит для этого делать какие-то Job классы? Или в кроне от этого смысла нет - нет необходимости такой в асинхронности?
Единственное, что мне еще надо, это ограничивать кол-во запросов, т.е. например не больше чем 1 в секунду.
В данный момент в кроне делаю просто sleep(1).
Если делать Job классы - то, как думаете, надо делать задачи только на запрос на сайт (~50 задач) или, помимо этого, ещё один Job на поиск и создание/обновление конкретного товара (~500 задач)?
Думаю нет смысла юзать jobs. Делай всё в рамках консольной крон задачи, добавь sleep где нужно. Раз задача выполняется долго, то лучше у неё дёрнуть runInBackground чтобы она не стопарила другие задачи (если они есть, конечно).
Простой
Простой