В чём преимущества использования Laravel Horizon?

Question

[vism]

Давно он вышел и несколько раз я хотел перейти на него, но не нашёл плюсов.
Сейчас новый проект и пытаюсь для себя разобраться, чем же он лучше.

Единственный плюс - конфиг в коде и гите.

Минусы

• засерается соответствующая DB в редисе
  
• failed jobs с большим payload нормально не посмотреть, какой там был payload, когда и сколько их. Из редиса их не достать, т.к. всё хранится хитрой системой ключей
  
• если есть jobs с большими payload, веб интерфейс виснет намертво
  
• аналитика намного проще собирается через job events прямо в database, чем пытаться её сделать в веб интерфейсе
  

Answer 1

[Алексей Уколов]

Конфиг в коде, graceful рестарт и автоскейлинг перевешивают для меня указанные минусы, которые и вправду присутствуют. Просто не надо делать большой payload :)

Уже год на проекте с десятками и иногда сотнями тысяч джобов ежедневно использую Horizon и не пожалел. Хотя и интерфейс не всегда удобный, и Редис периодически базу свою портит, если его неаккуратно перезапустить, и дебажить кишочки приходилось. Но с очередями в БД тоже приходилось мучиться — то воркеры перестают брать задания в работу, то из-за дэдлока джоб вообще в таблицу не пишется…

P.S. Failed jobs можно параллельно и в базу писать стандартно.

Comments

[vism]

Не, джобы в базе я даже не рассматривал, у меня их порой по несколько сотен в секунду создаётся. Именно Failed jobs напрягали.
Надо будет глянуть, как их в базу писать, чет сходу не увидел такой опции, а последний раз тестил года полтора назад и в базу не писал он Failed jobs

[vism]

graceful рестарт

помоему обычные тоже норм рестартятся при деплое

автоскейлинг

я пришёл к тому, что общее кол-во хэндлеров не должно превышать кол-во процессоров и критичные джобы на отдельные хендлеры.
А этот автоскейлинг сервер не завешивал ни разу?

[Алексей Уколов]

Надо будет глянуть, как их в базу писать, чет сходу не увидел такой опции

Это стандартный функционал фреймворка, который адекватно работает в связке с Horizon, но к самому Horizon не имеет отношения: Dealing With Failed Jobs.

я пришёл к тому, что общее кол-во хэндлеров не должно превышать кол-во процессоров и критичные джобы на отдельные хендлеры.
А этот автоскейлинг сервер не завешивал ни разу?

У нас довольно неравномерная нагрузка на протяжении дня на разные очереди - какие-то ночью запускаются, какие-то только днём. Поэтому нет смысла держать воркеры там, где задач точно не будет. А как задачи появляются, автоматом поднимается нужное количество. Проблем не было пока ни разу, при том, что даже минимальное количество всегда запущенных воркеров превышает (ненамного) количество процессоров. Для каждой очереди максимальное разумное количество процессов указано тоже.
Жаль, что нельзя 0 процессов указать в качестве минимума - есть очереди, которые вообще раз в неделю джобы получают, зато сразу тысячи. Приходится им большую часть времени вхолостую крутиться, но, опять же, никаких проблем от этого я не вижу.

[vism]

Алексей Уколов, Хм, спасибо. Это была довольно полезная информация :) Надо будет протестировать балансировщик как-нибудь