Как сделать очередь?

Question

[DemonFromIrk]

Есть скрипт, которым я вытаскиваю по 20 массивов со значениями(постранично) в формате JSON. Их записываю в БД.
Но всего данных много (380к массивов, примерно).
На данный момент мой код смог спарсить и записать в БД 360 значений.
Как сделать что-то типа очереди? Чтобы потихоньку все данные спарсить и записать?

Comments

[Robur]

А зачем вам очередь? Вытайскивайте, парсите, записывайте, вытаскивайте, парсите, записывайте, повторяйте пока не будет обработано все. Запустите скрипт и подождите пока он не отаботает, сходите выпейте чаю, наладьте личную жизнь, сделайте еще что-то полезное.

Answer 1

[dmitriy]

1. создайте cron задачу который запускает скрипт, работайте с данными порциями
2. Тоже самое, но после выполнения работы с порцией данных, выполните curl запрос на самого себя указав признак выполнения следующей порции

Answer 2

[Иван Шумов]

RabbitMQ, Kafka. Я за первое)

Comments

[DemonFromIrk]

Я решил сделал проще и тупее с помощью доп таблицы.

[Иван Шумов]

DemonFromIrk, сочувствую