Как умело работать с Sidekiq и очередями?

Question

[Александр Гончурин]

Очень долго бьюсь и не могу никак понять суть работы. Что хочу сделать: работа с интсграм (подписки и лайки), выбираем хештеги и приложение наше начинает работать, делаем несколько задач, под разные аккаунты; в принципе это работает, но...

SIdekiq при запуске запускает все worker'ы и job'ы, что не требуется в самом начале. Как правильно вызывать и добавлять очереди. Долго бьюсь, понять не могу (мануал читал и что-то не получается).

Answer 1

[bmalets]

Коротко про суть - в общем любой сайт должен возвращать страничку на клиент < 3 секунд. То есть рельсы должны быстро обработать запрос и вернуть ответ. Отправка почты или "работа с инстаграм" - довольно сложные для обработки задания, которые замедлят скорость HTTP-ответа. Если "тяжелую" часть работы отдать на sidekiq, то то этой проблемы не возникнет.

Sidekiq использует Redis для хранения очередей.
В папке /app/workers/ размещаешь нужные для тебя воркеры. Например:

# app/workers/hard_worker.rb
class HardWorker
  include Sidekiq::Worker

  def perform(name, count)
    puts 'Doing hard work'
  end
end

(метод перформ как точка входа нужен обезательно, название файла и класса должны заканчиваться на 'worker', ну и конечно же include Sidekiq::Worker тоже нужно).

Когда sidekiq запущен, можешь из любой точки в коде проекта вызывать:

HardWorker.perform_async('bob', 5)

Что создаст новое "задание" для sidekiq и добавит его в очередь. Собственно, по мере обработки job-ов sidekiq выполнит поставленое ему задание - достанет его из очереди и воркер его выполнит. Больше воркеров - быстрее обработка, количество воркеров можна задать как аргумент при запуске sidekiq.

P.S. Скорее всего ты сделал ошибку в воркере или неправильно делаешь вызов. Добавь свой код к вопросу.
+ посмотри рейлскаты на эту тему railscasts.com/episodes/366-sidekiq

Comments

[selen11]

bmalets может ли быть 20 очередей и 120 воркеров и что это значит? и что для этого надо, какой обьём памяти?

[bmalets]

если гигантский проект то теоретически возможно, но тогда неправильно технологии выбрали. зачем столько очередей и воркеров в Вашем случае?

[selen11]

bmalets: и что это значит? я просто не понимаю, что означает 20 очередей и 120 воркеров(похоже это нужный тебе код который будет выполнятся), как воркеры исполняются? какой обьём памяти для этого нужен?
почему redis? как это работает с redis? почему в perform_async нельзя передовать сами обьекты? а только id, strings, json ...? не могли бы вы ответить на эти вопросы или мне создать отдельный вопрос для этого и пригласить вас?

[bmalets]

20 очередей и 120 воркеров - 20 списков с данными лежат в редисе, 120 процесов-обработчиков одновременно запущены. Рельсы записывают задачи в очереди в редис, сайдкик их оттуда достает и передает их воркерам на обработку. Обьем памяти зависит об обьема данных, которые обрабатываются, таймаутов, скорости работы остального железа и т.д. - нужно считать сколько приблизительно памяти должно быть достаточно. Почему редис и только id, strings, json - вопрос скорее к разработчикам сайдкика)) думаю что бы не хранить в редисе данные, которые уже есть в БД. + сайдкик не знает ведь как с обьектами работать, он ведь отдельно от рельсов запускается (возможно вообще на другом серваке). Не помню наверняка, но кажется можно редис просто дефолтное персистенс-хранилище, можно его заменить на что-то другое

[Андрей]

bmalets,

Рельсы записывают задачи в очереди в редис

а как рельсы ее туда записывают? какой-то айдишник передают?

Answer 2

[Николай Марков]

Очереди это, как уже сказал bmalets, что-то вроде списков задач. Они нужны в основном для управлением нагрузкой, параллельностью. По дефолту есть только очередь default.

Классический пример разделения очередей:
- mailer - очередь для рассылки почтовых сообщения пользователям
- default - для всего остального

Можно сделать так что для очереди mailer вы запускаете 10 процессов (не воркеров, а именно процессов ОС), а для default только 1. Тем самым вы делаете приоритетной очередь mailer.
Распределением нагрузки можно также управлять с помощью "весов" (параметр -q mailer,9 default,1 ). В данном случае из 10 задач 9 будут взяты из очереди mailer и только одна из очереди default.

Под воркерами могут подразумеваться два понятия:
- воркер как процесс ОС который берет задачи из очередей на выполнение
- воркер как класс руби, который выполняет какую-то бизнес-задачу

В основном конечно же под воркерами подразумевается второй вариант.

По вашим вопросам:
- как воркеры исполняются?
Процесс-обработчик берет задачу из redis и выполняет её. Тут важно понимать, что при аварийном завершении работы процесса вы можете потерять задачу (такие кейсы бывают очень критичными для бизнеса).

- какой обьём памяти для этого нужен?
Объем данных в redis'е можно посмотреть в админском интерфейсе.

- почему redis

Кто знает...

- как это работает с redis
???

- почему в perform_async нельзя передовать сами обьекты? а только id, strings, json ...?
Можно, но не нужно. Все что попадает в perform_async должно попадать в redis. А это накладные расходы на хранение, сериализацию/десериализацию.

- Как правильно вызывать и добавлять очереди.
Что вы имели ввиду под "вызывать очереди"? Очереди добавляются автоматически
Вообще формат хранения можно запросто посмотреть в самом редисе.

Comments

[Андрей]

Процесс-обработчик берет задачу из redis и выполняет её

А что значит берет задачу? sidekiq берет id? как задача хранится в redis'е?