Как разгребать очередь?

Question

[quest2017]

Положим есть у нас несколько серверов с некими очередями в которых накапливаются записи о событиях.
Для простоты положим что это таблицы в базах данных в которые добавляются записи.
Мы можем узнавать о факте поступления новой записи, при желании можем узнать сколько всего не обработанных записей на каждом сервере.

Далее вопрос: как бы вы натравливали воркеры на эти записи?
1) создали на каждом сервере пул воркеров которые бы периодически либо по сигналу лезли бы за записями?
2) создали бы пул воркеров на сторонних машинах которые узнавали бы о новых записях через какую-то очередь типа rabbitmq?
3) как бы вы решали сколько воркеров нужно натравить на новые записи чтобы с одной стороны их не было мало с другой чтобы сотни воркеров не бросились за одной записью?

Answer 1

[lxfr]

Было бы лучше если бы вы указали о каких объемах данных идет речь.
Таблица на тысячу строк это одно, и совершенно другие методы в bigdata.