Kue. Что это и с чем его едят?

Question

[Александр Князев]

На практике над реализацией nodejs - приложения. Дали задание разбираться, что такое npm - модуль kue и с помощью него реализовывать очереди при запросах к серверу. Если обратиться к официальнойа странице на Github - там все написано для людей, которые уже знакомы с проблемами которые должен решать этот модуль.
Я же понять основы того что это.
Что можете посоветовать погуглить/почитать?

Comments

[pi314]

Вам не кажется странным, пытаться решать проблемы (хоть этим модулем, хоть с МиккиМаусом), с которыми Вы не знакомы? Может лучше сначала уточнить задание?.. Тогда, глядишь, и многое из того, что написано в документации, сразу станет понятным. А иначе просто непонятно, что именно Вам непонятно :(

[Александр Князев]

pi314: Нет, если в общих чертах, то я понимаю - к серверу могут одновременно много пользователей обратиться (у нас там решается довольно тяжелая задача), и в таком случае, нужно, чтобы сервер не обслуживал всех пользователей одновременно, а создавал очереди. Одного обслужил - начал с другим. А вот что дальше - уже не в курсе

[pi314]

Александр Князев: Ну, тогда, если на пальцах, то этот модуль как раз и предоставляет все примитивы, необходимые для такой задачи. Это прежде всего, очередь, как таковая. Для хранения ее данных используется Redis. Далее это задания (jobs), помещаемые в очередь. В вашем случае одно задание будет, вероятно, соответствовать выполнению "тяжелой задачи" для одного клиента. Если сервер может потянуть больше, можно выполнять контролируемое количество заданий одновременно. Плюс, пакет предоставляет дополнительные абстракции, облегчающие работу с этой кухней, как, например, события при изменениях состояния очереди, отложеные задания, запуск/перезапуск очереди и т.д. и т.п. В доке вроде подробно и с примерами описано, как пользоваться отдельными механизмами. Ну, а как именно Вы все это используете для конкретной задачи, решать, разумеется, Вам :) Тут вряд ли кто-то посоветует что-то конкретное, не зная подробностей задачи...

[Александр Князев]

pi314: А не подскажите, первый параметр при создании "job", так называемый "тип работы" - это просто название работы, или нет?

Answer 1

[pomeo]

Обычные очереди с хранением данных в redis, всё в документации.
То чего нет в документации, с 0.9 версии появился TTL, надо его ставить. Если пропустите done();, а я вам гарантирую, что вы их будете месяцами втыкать во все места сложных задач, то задача отвалится по таймауту. Ловить ошибки надо везде, когда у вас процессится задание. Пропустите, timeout не стоит, задача встала. Даже если стоит, задача не выполнится. И если вы уж используете очереди, то это будет не одна задача, а сотни тысяч или миллионы.
Ещё надо чистить базу от job failed. Удаляются только job success, если стоит removeOnComplete(true). А вот failed надо чистить руками, в документации описано как это делать. Не будете чистить, может что-то пойти не так и редис сожрёт всю память.
Надо обязательно настраивать graceful shutdown.
В последних версиях выключен поиск по задачам, если он вам не нужен, не включайте.
Если вам не нужны job events, выключите. Редис заметно похудеет.
Если у вас будет расти память у редиса, останавливаться задачи и куча других ошибок около kue. То 99.9%, что проблема в ваших руках, а не в kue. В issues каждые пару недель появляется человек с "jobs stuck" и это как раз 99.9%