Можно ли такое сделать с помощью Rabbitmq?

Question

[Cerebrumlab]

Добрый день ! Требуется решить задачу. Из базы забираются записи и происходит их обработка. 1 запись обрабатывается около 1 секунды 1 скриптом. нужно обработать несколько миллионов записей. C Rabbitmq раньше не работал скажите можно ли с помощью него сделать такое:
Rabbitmq получает список записей далее к нему обращаются n копий скрипта обработчика, и rabbit выдает запись и убирает из списка задач, при обращение след копии скрипта он уже получает другую запись на обработку. Если нет то что посоветуете для подобной цели(желательно чтобы работало с  php или nodejs)

Answer 1

[vman]

Rabbitmq получает список записей

Сам по себе он ничего не получает

далее к нему обращаются n копий скрипта обработчика, и rabbit выдает запись и убирает из списка задач

именно так все и будет, еще исследуйте момент подтверждения получения записи (он же acknowledge)

Comments

[Cerebrumlab]

Если я правильно вас понял то алгоритм такой:
1) скрипт n1 передает в rabbitmq очередь записей для обработки
2) N копий скрипта n2 по очереди забирают оттуда записи(подтверждают получение) и обрабатывают их

[RidgeA]

Cerebrumlab, п 2 не совсем верен - они не по очереди, а каждый независимо друг от друга, но одни и те же записи не будут потребляться разными скриптами, но в целом все так

[Cerebrumlab]

RidgeA, по очереди это скорее не так выразился) вкладывал смысл именно что независимо.

[vman]

ну и тут вот поправочка

абирают оттуда записи(подтверждают получение) и обрабатывают их

тут должно быть так:

1. получил
   
2. обработал
   
3. подтвердил