Есть скрипт, которым я вытаскиваю по 20 массивов со значениями(постранично) в формате JSON. Их записываю в БД.
Но всего данных много (380к массивов, примерно).
На данный момент мой код смог спарсить и записать в БД 360 значений.
Как сделать что-то типа очереди? Чтобы потихоньку все данные спарсить и записать?
А зачем вам очередь? Вытайскивайте, парсите, записывайте, вытаскивайте, парсите, записывайте, повторяйте пока не будет обработано все. Запустите скрипт и подождите пока он не отаботает, сходите выпейте чаю, наладьте личную жизнь, сделайте еще что-то полезное.
1. создайте cron задачу который запускает скрипт, работайте с данными порциями
2. Тоже самое, но после выполнения работы с порцией данных, выполните curl запрос на самого себя указав признак выполнения следующей порции
