Как можно управлять запущенной функцией и данными в ней?

Question

[vadikrudnov]

Всем привет!

Подскажите, как можно осуществить управление запущенной функции? То есть приостановить выполнение или удалить вовсе выполнение.

Есть функция, которая берет данные из таблицы и проверяет их. Эта функция вызывается через крон, если пользователь выставил проверку в настройках.
Но как сделать управление c уже запущенными данными не совсем понятно. Например необходимо приостановить проверку данных из таблицы прямо сейчас, у тех записей, в которых присутствует значение 1 в колонке pause.

Как вклиниться в процесс запущенный через крон и управлять данными, вот вопрос. Возможно надо делать какой-то слушатель, который бы постоянно слушал определенные настройки, что-то запутался...

Comments

[Дмитрий]

похоже вы в общем куда то не туда свернули.

[Дмитрий]

Может расскажете о задаче целиком?

[vadikrudnov]

Дмитрий, подскажите, как бы вы поступили?

[Дмитрий]

vadikrudnov, ну еще раз задача не понятна - но вполне возможно что достаточно проверять при выполнении проверки - изменился ли статус у данных, если нет - не проверять. или после проверки - если статус изменился - не вносить изменения.

[vadikrudnov]

Дмитрий, Задача: управление проверкой данных пользователем. В таблицу поступают данные по АПИ. Все проверки должны быть в списке задач, которыми можно управлять. Данных на проверке может быть больше миллиона. Пользователь должен вручную запускать проверку на основе фильтров по записям в таблице, и также чтобы у него была возможность приостанавливать проверку, удалять данную задачу.

[Дмитрий]

vadikrudnov,
1. ну решение в лоб простое - у вас должна быть таблица задач, где лежат поставленные задачи пользователями с фильтрами, и при обработке этой задачи эпизодически опрашивать изменилась ли запись с задачей. правда решать такое через крон, такое себе - может лучше очереди?
2. ну можно полезть в какой нибудь swoole, roadrunner или еще чего и мутить там - но мне кажется вы не сможете.

[vadikrudnov]

Дмитрий,

но вполне возможно что достаточно проверять при выполнении проверки - изменился ли статус у данных, если нет - не проверять. или после проверки - если статус изменился - не вносить изменения.

Пришли новые данные с неизвестными значениями, надо запустить проверку этих данных с помощью фильтров, категорий, распределений и т.д.
Берется список данных и через foreach прогоняется, если на каждой записи делать запрос в базу с проверкой, выставил ли пользователь настройку или нет, то это очень много запросов получится)

[Дмитрий]

vadikrudnov, если вы видете что данные изменились - вы тупо сворачиваете работу, следующий крон или следующая попытка обработки - начнет сначала. можно дергать не каждую обработку - а каждую десятую.

ну если не устраивает - говорю идете в swoole или еще чего, и пишете свой манагер процессов. ну или - бросаете пхп и идете в язык который более подходит к таким задачам. но я бы искренне порекомендовал первый вариант

[vadikrudnov]

Дмитрий, очереди хорошая идея, но не видел там, возможности приостановки выполнения и удаления очереди. Очередь нужна, когда уже все жестко известно и надо выполнять без остановки.

[Дмитрий]

vadikrudnov, очереди выигрывают у крона здесь только более гибкой настройкой количества одновременных обработок.
Если вам нужно прямое управление процессами - нужен манагер процессов. А куда идти за ним - я уже сказал.

В вашем случае приостановка задачи должна решаться через что то - базу данных, какую нибудь ключ-значение, или еще чего, что он должен мониторить что бы получить сообщение о том что ему надо сдохнуть.

Ну еще как вариант - это прикапывать к каждой задачи getmypid и банальным kill'ом сносить

[vadikrudnov]

Дмитрий, спасибо!

[vadikrudnov]

Дмитрий, попробовал тут Getmypid получать в очередях, так там получается один и тот же pid для всех запущенных очередей с задачами. Поэтому если грохнуть очередь с одним pid, то грохнуться все, а это плохо.

[Дмитрий]

vadikrudnov, в каких очередях и как вы их запускаете?

[vadikrudnov]

Дмитрий, задачи выполняет supervisor, а в очередь отправляю так Myjob::dispatch();
в классе Myjob:

public function handle()
    {
        $pid = getmypid();

        //
    }

[Дмитрий]

vadikrudnov, не мудрено. потому что у вас joba будет выполнятся в рамках процесса воркера. И таким макаром джобу вам нихрена не прибить - только воркера.

[Дмитрий]

vadikrudnov, вы демонов запускаете как queue:listen? или как queue:work?

[vadikrudnov]

Дмитрий, queue:work database --queue=myjobs1,myjobs2 --timeout=10800

[Дмитрий]

vadikrudnov, а я посмотрел - там пофигу. Ну так или иначе - getmypid будет иметь id workera а не конкретного joba

[vadikrudnov]

Дмитрий, плохо что так, но все равно спасибо!

[Дмитрий]

vadikrudnov, запускайте обработку через exec и nohup и тогда будет работать

Answer 1

[humoured]

Самый простой вариант сделать подобное управление в php — использовать внешние флаги. Вариантов много, например, можно взять Redis или Memcache: один процесс (управляющий) ставит флаг cron:check:row123:pause = 1, второй процесс (обрабатывающий) в своём цикле считывает флаг. Аналогично можно сделать флаг cron:check:stop = 1 и остановить обработку вообще.

Comments

[vadikrudnov]

К внешним флагам должен быть постоянный доступ из запущенной задачи, а это означает постоянное дергание базы с запросом. В задаче может обрабатываться больше миллиона записей, это означает что на каждой записи будет идти запрос в базу, что не есть хорошо.

[humoured]

vadikrudnov, поэтому и "базу" я предложил in-memory: Redis и Memcache. Они прекрасно справляются с обработкой десятков тысяч запросов в секунду. Тем более, что здесь наипростейший read-write со сложностью O(1).