Как запустить очередь Beanstalk с помощью Cron?

Question

[Руслан Ибрагимов]

очередь нужна для отправки электронных писем пользователям, уведомления и т д
если я поставлю задачу крону запускать скрипт обработчика очереди например каждую минуту то у меня может параллельно запуститься несколько процессов так как в какой то момент в очереди может быть большое количество задач и они просто не успеют выполниться пока не запуститься другой процесс
и может быть так что два процесса дернут одну и ту же задачу пока еще не будет удалена из очереди
можно ли как то запускать этот скрипт последовательно, то есть желательно вообще без задержки а как только один завершился сразу запускается следующий?

Answer 1

[Руслан Ибрагимов]

сделал так. пришлось сделать задержку в 5 секунд внутри php скрипта потому что systemd ругался что приходится слишком часто перезапускать процесс

[Unit]
After=network.target
Description=Runs worker
[Service]
ExecStart=/usr/bin/php7.0 /vagrant/www/public/deployer/app/cli.php
PIDFile=/vagrant/www/public/deployer/app/cli_bean.pid
TimeoutStopSec=300
Restart=always
[Install]
WantedBy=multi-user.target
Alias=bean.service

код задачи в  cli фалкона

use Phalcon\Cli\Task;

class MainTask extends Task
{
    public function mainAction()
    {
        $this->queue->watch('mail');
        while ($this->queue->statsTube('mail')["current-jobs-ready"] > 0 && ($job = $this->queue->reserve())) {
            $message = $job->getBody();
            $mailer = $this->mailer->send($message['to'], $message['subject'] , $message['view'], $message['params']);
            $job->delete();
        }
        $this->mailer->close();

        sleep(5);
    }
}

systemctl status

beanworker.service - Runs worker
   Loaded: loaded (/etc/systemd/system/beanworker.service; enabled; vendor preset: enabled)
   Active: active (running) since Sat 2018-11-03 20:21:05 MSK; 1s ago
 Main PID: 23075 (php7.0)
    Tasks: 1
   Memory: 9.4M
      CPU: 87ms
   CGroup: /system.slice/beanworker.service
           └─23075 /usr/bin/php7.0 /vagrant/www/public/deployer/app/cli.php

Nov 03 20:21:05 vagrant systemd[1]: beanworker.service: Service hold-off time over, scheduling restart.
Nov 03 20:21:05 vagrant systemd[1]: Stopped Runs worker.
Nov 03 20:21:05 vagrant systemd[1]: Started Runs worker.

 память съедает почти 10мб, а  php  memory_get_peak_usage выдает 2мб

Answer 2

[Wol_fi]

Можно без крона сделать бесконечный процесс через pcntl_fork();
Запускаете процесс, он обрабатывает задачу из очереди, рождает дочерний процесс, а сам закрывается. Дочерний процесс повторяет весь этот круг. Готовых реализаций в сети куча.
Плюсы: чистый пхп, не требуется крон, память не течёт.
Минусы: очень сложно синхронизировать несколько таких процессов между собой.

Можно использовать очередь задач, например тот же rabbitmq
Плюсы: легко синхронизировать процессы воркеров, воркеры могут быть написаны на чем угодно
Минусы: плюс одна технология в стек

Comments

[Алексей]

У rabbitmq в минусах заменить стек на резюме и получится плюс

[Руслан Ибрагимов]

оказывается у beanstalk есть возможность сразу зарезервировать задачу чтоб другой процесс не запустил ее повторно, одна проблема вроде как решилась. на счет вашего варианта почитаю, а так же нашел информацию что можно использовать систему инициализации SystemD и запустить свой юнит при запуске системы или в ручную и сделать так чтоб юнит сам перезапускался если процесс завершился. то есть сам всегда будет следить по  PID и запускать его снова, так же можно настроить количество одновременных параллельных процессов, один или сколько нужно, мне этот вариант нравится но пока глаза боятся лезть, не очень силен c linux в целом и  bash скриптах