Какие вы знаете очереди с возможностью дедубликации данных?

Question

[Александр]

Есть требование постоянно доставать из бд большую пачку данных и закидывать их в очередь, но в очереди никогда не должны оказаться дубликаты. Дедублицирование нужно по нашему айдишнику, айдишник не инкрементный.
Так же очень желательно иметь гарантию exactly once доставки
Очень важно обеспечить атомарность операции, какие брокеры лучше удовлетворяют эти требования?

Answer 1

[mayton2019]

Очереди могут обеспечить exactly once. По крайней мере в настройках у многих есть такой параметр.

Дедубликация - это слишком жесткое требование. Оно требует хранения ключей в неких индексах
которые должны быть консистентны. Это - ближе к базам данных. А очереди обычно используют
достаточно простые и плоские структуры (файлы) для хранения месседжей.