Как сделать работу нескольких уникальных sidekiq задач внутри одной очереди?

Question

[Андрей]

У меня есть sidekiq очередь, в которой выполняются задачи разных пользователей. Один пользователь, своими действиями, за раз может может сгенерировать 15-20 задач и заполнить всю очередь и sidekiq воркер.

Мне необходимо проверять задачу на уникальность параметров и давать возможность выполнять одновременно 3 задачи от одного пользователя.

Я знаю о геме sidekiq-unique-jobs. К сожалению я не смог найти в нем то что нужно мне. while_executing кидает все задачи в очередь выполнения и выполняет их последовательно, но очередь Busy занята. А остальные режут их попадание в sidekiq queue.

Можно ли их как то сохранять в Enqueued, как это делает sidekiq-limit_fetch, только на основе аргументов задачи?

Answer 1

[Alexander Leonchik]

Я думаю что Вы должны проверять параметры со своей стороны, прежде чем создавать воркер.
P.S. Можно в redis-e брать/хранить временные данные для сравнения "запускался такой воркер или нет".

Comments

[Андрей]

Хотелось не о чем таком не думать.
Просто накидать джоб в очередь вот так:

Sidekiq::LoadStatMetrical.perform_async(user.id, params, user.metricals.count % 3)

Внутри джобы проверять на уникальность:
unique_args: ->(args) { [args[0], args[-1]] }
И радоваться жизни

[Alexander Leonchik]

Но это не правильно. Воркер должен максимально быстро запуститься, а не проверять какие то параметры на уникальность или что то с чем то сравнивать

[Андрей]

Alexander Leonchik: а как мне тогда поступить?
Юзер совершил действие и должно быть запущено 15-20 джоб.
Но не более 3 потоков одновременно на одно юзера.

Может запускать только первые 3 джобы, а остальные в конце предыдущей?
Тогда у меня проблемы возникают. Вся информация хранится в постгрес базе и какие либо зависимости одной джобы от другой я пытался сохранить там же.. А скорость ее работы уступает редису и начинаются ошибки..

Answer 2

[vsuhachev]

При запуске внутри задачи проверять ваши условия и если они не выполняются - прерывать задачу и перепланировать ее в конец очереди (ну или на попозже).