Как настроить Supervisor на сервере для двух сайтов на Laravel, для отправки почтовых уведомлений с использованием механизма очередей?

Question

[Maксим Волков]

Прошу поделиться опытом и знаниями.

Имею сайт на Laravel размещенный на VDS сервере. Для отправки почтовых уведомлений используется механизм очередей. Все было сделано по инструкциям, Supervisor настроен и работает.
На данном сервере, разместил второй сайт, на котором так же необходимо настроить отправку почтовых уведомлений. Но запутался с настройкой супервизора для второго сайта.

В первом случае, согласно инструкциям, был создан файл: laravel-worker.conf

[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /var/www/my-site.ru/artisan queue:work --tries=3
autostart=true
autorestart=true
user=root
numprocs=8
redirect_stderr=true
stdout_logfile=/var/log/supervisor/laravel-queue.log

и внесены дополнение в файл supervisord.conf

files = /etc/supervisor/laravel-worker.conf

Но как настроить работу Supervisor для второго сайта:
Создать аналогичный файл laravel-worker.conf, или внести изменения в существующий,
Прошу помощи, подсказки куда смотреть, в документации и в сети ответов не нашел.

Comments

[Valdemar Smörman]

А зачем так сложно?

files = /etc/supervisor/laravel-worker.conf

Делается проще.
Вместо прописывания правила для конкретного файла, проще прописывается для всех .conf-файлов правило:
files = /etc/supervisor/conf.d/*.conf

И вообще, где храните конфиги?

Основной файл supervisord.conf должен лежать в:
/etc/supervisor/
А конфиги-воркеры в папке:
/etc/supervisor/conf.d/

Изначально, после установки Supervisor можно и по правильному нужно создать дефолтный supervisord.conf командой:

sudo sh -c 'echo_supervisord_conf > /etc/supervisor/supervisord.conf'

И сразу же разкомментировать последний [include] в файле и добавить то самое правило для любых .conf-файлов, о котором я сразу в начале написал:

sudo sed -i 's/\;\[include]/[include]/' /etc/supervisor/supervisord.conf; sudo sh -c "echo 'files = /etc/supervisor/conf.d/*.conf' >> /etc/supervisor/supervisord.conf"

А потом уже сделать правки, как в файле по ссылке ниже.

supervisord.conf должен быть настроен так:

Спойлер: жми сюда - supervisord.conf

supervisord.conf

Конфиги-воркеры должны лежать в /etc/supervisor/conf.d/ и выглядеть приблизительно так:

Спойлер: жми сюда - Воркер в папке /etc/supervisor/conf.d/

; supervisor config file

[program:01-HTTPAceProxy]
command = /usr/bin/python3 /opt/HTTPAceProxy/acehttp.py
stdout_logfile_maxbytes = 50MB
stdout_logfile = /var/log/aceproxy.log
stderr_logfile = /var/log/aceproxy.log
startsecs = 10
#startretries=10
priority = 1
stopasgroup = true
autostart = true
autorestart = true

Можно сделать всё в одном воркере.
Можно в одном воркере-группе и т.д...

И ОБЯЗАТЕЛЬНО!!!
После всяких правок файлов выполнить:

sudo supervisorctl reread; sudo supervisorctl update; sudo systemctl restart supervisor.service

[Valdemar Smörman]

Вот пример конфига в /etc/supervisor/conf.d/ с объединением в группы:

Спойлер: жми сюда - несколько воркеров, объединённых в группы

; supervisor config file

[program:1-StreamBot]
command = python StreamBot.py StreamBot 1.0.0
directory = /opt/ProxyBot
stdout_logfile_maxbytes = 50MB
stdout_logfile = /var/log/proxybot.log
stderr_logfile = /var/log/proxybot.log
startsecs = 10
#startretries=2
priority = 990
autostart = true
autorestart = true

[program:2-CheckBot]
command = python CheckBot.py CheckBot 1.0.0
directory = /opt/ProxyBot
stdout_logfile_maxbytes = 50MB
stdout_logfile = /var/log/proxybot.log
stderr_logfile = /var/log/proxybot.log
startsecs = 10
priority = 991
autostart = true
autorestart = true

[program:3-SearchBot]
command = python SearchBot.py provider[0] SearchBot 1.0.0
directory = /opt/ProxyBot
stdout_logfile_maxbytes = 50MB
stdout_logfile = /var/log/proxybot.log
stderr_logfile = /var/log/proxybot.log
startsecs = 10
priority = 992
autostart = true
autorestart = true

[program:4-PlistBot]
command = python PlistBot.py PlistBot 1.0.0
directory = /opt/ProxyBot
stdout_logfile_maxbytes = 50MB
stdout_logfile = /var/log/proxybot.log
stderr_logfile = /var/log/proxybot.log
startsecs = 10
priority = 993
autostart = true
autorestart = true

[group:ProxyBot]
programs = 1-StreamBot,2-CheckBot,3-SearchBot,4-PlistBot
priority = 994

[program:1-StreamBot]
command = python StreamBot.py StreamBot 1.0.0
directory = /opt/ChannelBot
stdout_logfile_maxbytes = 50MB
stdout_logfile = /var/log/channelbot.log
stderr_logfile = /var/log/channelbot.log
startsecs = 10
#startretries=2
priority = 995
autostart = true
autorestart = true

[program:2-CheckBot]
command = python CheckBot.py CheckBot 1.0.0
directory = /opt/ChannelBot
stdout_logfile_maxbytes = 50MB
stdout_logfile = /var/log/channelbot.log
stderr_logfile = /var/log/channelbot.log
startsecs = 10
priority = 996
autostart = true
autorestart = true

[program:3-SearchBot]
command = python SearchBot.py provider[0] SearchBot 1.0.0
directory = /opt/ChannelBot
stdout_logfile_maxbytes = 50MB
stdout_logfile = /var/log/channelbot.log
stderr_logfile = /var/log/channelbot.log
startsecs = 10
priority = 997
autostart = true
autorestart = true

[program:4-PlistBot]
command = python PlistBot.py PlistBot 1.0.0
directory = /opt/ChannelBot
stdout_logfile_maxbytes = 50MB
stdout_logfile = /var/log/channelbot.log
stderr_logfile = /var/log/channelbot.log
startsecs = 10
priority = 998
autostart = true
autorestart = true

[group:ChannelBot]
programs = 1-StreamBot,2-CheckBot,3-SearchBot,4-PlistBot
priority = 999

Обрати внимание, сначала пишутся воркеры группы, каждый из которых начинается, как обычно с:
[program:1-StreamBot]

а в конце группы воркеров обязательно, если создаёшь группу, пишется:

правило группировки

[group:ProxyBot]
programs = 1-StreamBot,2-CheckBot,3-SearchBot,4-PlistBot
priority = 994

priority = 994 - это порядок/очерёдность запуска. По умолчанию 999, т.е. авто-выбор...

[Maксим Волков]

Valdemar Smörman, Благодарю за подробное и доступное для понимания изложение.
Решил удалить и заново переустановить Supervisor на сервер с правильным конфигами.
Но столкнулся с другой проблемой. После создания воркеров, команда:

sudo supervisorctl reread

Выдает ошибку:

error: <class 'FileNotFoundError'>, [Errno 2] No such file or directory: file: /usr/lib/python3/dist-packages/supervisor/xmlrpc.py

Требует библиотеку Paython3

Не подскажите, как поправить. Google по данному вопросу какой-то мусор выдает.

[Valdemar Smörman]

Maксим Волков, а у вас Питон 2 что ли?
Какая Убунта на сервере?
Как вы устанавливали Supervisor?
Всё, вышеописанное относится к варианту установки в Консоли/Терминале:
sudo apt install supervisor
т.к. есть и другой вариант установки...

И вы в воркерах, где-то прописывали команду python3?

[Maксим Волков]

Valdemar Smörman, Благодарю, с этой проблемой разобрался. Указанные в ошибке "No such file or directory" файлы Python в наличии, но были доступны только root - пользователю. С правами напутал. Поправил. Теперь в порядке.

Вот только другие траблы вылези.

Фалы - *.conf в папке conf.d созданы, supervisord.conf полный создан и необходимые изменения внесены.

spoiler

; supervisor config file /etc/supervisor/conf.d/legenda-worker.conf

[program:legenda-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /var/www/site.ru/artisan queue:work --tries=3
autostart=true
autorestart=true
user=master
numprocs=4
redirect_stderr=true
stdout_logfile=/var/log/supervisor/legenda-queue.log

; supervisor config file /etc/supervisor/conf.d/quiz-worker.conf

[program:quiz-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /var/www/quiz.site.ru/artisan queue:work --tries=3
autostart=true
autorestart=true
user=master
numprocs=4
redirect_stderr=true
stdout_logfile=/var/log/supervisor/quiz-queue.log

Но командf: sudo supervisorctl reread
No config updates to processes

sudo supervisorctl

Вроде работает,
Но почтовые сообщения, поставленные в очередь laravel не приходят.

[Valdemar Smörman]

Maксим Волков, ну так показывает же статус, что всё запущено

[Maксим Волков]

Valdemar Smörman, Ну да, запущено... Благодарю, за подробное разъяснение о настройках.
Судя по всему Supervisor отрабатывает, только почтовые сообщения не уходят. В log -файле пишет:

[2022-02-22 08:40:23][63] Processing: App\Mail\Callback
[2022-02-22 08:40:44][64] Processing: App\Mail\Callback
[2022-02-22 08:41:05][65] Processing: App\Mail\Callback
[2022-02-22 08:41:25][65] Failed:     App\Mail\Callback

Буду искать причину, может в конфигах напутал...

[Valdemar Smörman]

Maксим Волков, смотрите правильность написания команд

[Valdemar Smörman]

Maксим Волков, грубейшие ошибки написания воркеров для Supervisor!

command=php /var/www/site.ru/artisan queue:work --tries=3

При таком написании без указания директории, работать и не будет!
Обязательно после команды должно быть указание директории.
Такова специфика написания воркеров Supervisor.
Вы же видели, как у меня в воркерах, но проигнорировали сие...

И команда сама не совсем правильно написана.

Надо указать расширение исполняемого php-скрипта, т.е. .php в его конце!
И сам префикс php, если php установлен по умолчанию, без принудительного указания директории его установки, должен выглядеть иначе, как и команда целиком с указанием директории:

command = php artisan.php queue:work --tries=3
directory = /var/www/site.ru/

или

command = /usr/bin/php /var/www/site.ru/artisan.php queue:work --tries=3
directory = /var/www/site.ru/

Я правильно понял, что artisan - это php-скрипт?

[Maксим Волков]

Valdemar Smörman,

Я правильно понял, что artisan - это php-скрипт?

Да, абсолютно верно - это скрипт. Но данная часть коде взята из документации к фреймворку Lravel.

Там приведены примеры написания воркеров. Примерно так и есть, без расширения исполняемого php-скрипта artisan.

Возможно c правами напутал. Изначально, первый сайт, при переносе на сервер был залит от пользователя root, и настройки, конфигурация сервера полагаю проводились от пользователя root....

[Valdemar Smörman]

Maксим Волков,
directory = /var/www/site.ru/
обязательно в воркере должна быть указана!

И после правки обязательно надо выполнить:

sudo supervisorctl reread; sudo supervisorctl update; sudo systemctl restart supervisor.service

Answer 1

[Sanes]

Еще один добавь под другим именем.