Самый оптимальный метод обработать задачу ровно через N секунд (миллисекунд)?

Question

[Troodi Larson]

Добрый вечер. Необходимо выполнить задачу ровно через N секунд после dispatch. Задач может быть очень много от сотни до потенциального миллиона за секунду с работой через redis. Стандартный $job->delay(5) может выполниться и через 7 и более секунд, а важно выполнить именно через 5 секунд. Я так понимаю с помощью очередей данного результата добиться скорее всего невозможно. И альтернативным вариантом будет являться бесконечный цикл c асинхронным выполнением задач.

Хотел бы услышать ваши мысли по данному поводу. Заранее благодарю!

Comments

[Максим Федоров]

Обработать — это начать обрабатывать или закончить?

[d'Ivan]

Хороший вопрос задал Максим Федоров

[Troodi Larson]

Максим Федоров, Начать обработку

[d'Ivan]

Troodi Larson, сколько времени занимает обработка одной задачи?

[Troodi Larson]

Роман Мирр, несколько миллисекунд. Менее секунды.

[Кирилл Горелов]

кластер поднять или железо по мощнее?

[Troodi Larson]

Кирилл Горелов, Одно дело железо, другое дело какие-то готовые реализации, идеи. В данном случае, важна сама идея.

Answer 1

[Troodi Larson]

Задачу решил так: беконечный цикл, проверяющий задачи раз в секунду. Даже если задача отработается позже храню в базе последние значения на тот момент времени, когда должна была завершиться задача.

Answer 2

[Дархан]

Вы запускали 1 процесс для обработки очередей?
Если я не ошибаюсь, то можно запустить необходимое количество воркеров и они будут сразу разбирать задачи.
И в теории(если я конечно прав), вы можете сделать N количество воркеров,чтобы покрыть X ваших задач и они будут исполняется в указанное время, ведь всегда будет свободный воркер.. но сколько их надо, это уже другой вопрос.
А так может стоит покурить reactphp и может быть есть какие-то импементации в ларку.
Например https://github.com/spatie/laravel-cronless-schedule
Судя по описанию, позволяет каждые 5 секунд(ниже в ридми) делать проверку задач аналогично крону. Опять таки, в теории выставить таймер ежесекундную проверку задач и исполнять их.
Как 3-й вариант посмотреть сторонние очереди(на других ЯП),которые могли бы покрыть ваши задачи.
Посыл в какую сторону курить, надеюсь дал.

Comments

[Troodi Larson]

Да, в целом тут есть направление куда смотреть. ReactPHP в данном случае тоже не панацея, да работаю с ним параллельно в проекте. Кастомный крон тоже не подойдет, т.к. он всё равно не асинхронен, в идеале надо запустить ровно через 5 секунд, Например было запущено в 5 секунд 250 миллисекунд и завершить в 10 секунд 250 миллисекунд. И тут всё упирается именно в объемы данных. Нельзя запустить сразу миллион обработчиков очередей, так как просто столкнемся с не программными ограничениями.

Думаю для начала, конечно хватит, воркеров, но далее надо будет думать каким образом обрабатывать.

[Дархан]

Troodi Larson, нельзя ли(в теории) поднять сервис(рядом) на node.js, который бы уже осуществлял все ваши задачи и принимал бы на вход задача\время исполнения?

[Troodi Larson]

Дархан Камалиев, Да, я думаю что нода в данном случае самое скоростное решение.

[d'Ivan]

Troodi Larson,

Да, я думаю что нода в данном случае самое скоростное решение.

Я так не думаю. Она магическим образом не решит вопрос обработки задач только из-за асинхронной обработки.

[Troodi Larson]

Bavashi, как таковых вычислений там нет. Получается значение из кэша, актуальное именно на данную секунду и передается уже задаче которая хоть год будет обрабатывать.

Answer 3

[Korya]

#!/bin/bash

while true; do
  # Do something (php artisan queue:work --once)
  sleep 5;
done

Как вариант, и в супервизор это все.

Comments

[d'Ivan]

А вопрос читал?