Как создать очередь в БД (postgres)?

Question

[Николай Марков]

Нужно хранить в базе задания на рассылку сообщений. Как реализовать эффективную асинхронную очередь, так чтобы процессы, которые рассылают сообщения не могли одновременно отправить одно и тоже сообщение.

UPD: нужна персистентность, чтобы в случае краха хранилища, задания не потерялись.

UPD: Нужна не то чтобы очередь, а скорее просто хранилище для заданий

UPD: можно сказать что мне нужен sidekiq (sidekiq.org/), но его минус в том что если redis упадет, то все задания потеряются

Answer 1

[anyd3v]

Используйте готовые решения, будет на порядок эффективнее.
гуглите в сторону RabbitMQ, ActiveMQ, ZeroMq etc

Comments

[Николай Марков]

нужна персистентность

[Владимир]

Согласен с @anyd3v.
Немного уточню реализацию.
Непосредственно на отправку в брокер сообщений.
Воркеры по результату отправки сообщений выставят статус отправки в постгре по ключу, переданному с каждой мессагой.

[Михаил]

человеку нужна база данных, какие еще брокеры

[anyd3v]

@rostel человеку нужна "эффективную асинхронную очередь" для этого и есть брокеры, ну не как не очередь через бд.

[Николай Марков]

@anyd3v под асинхронностью я понимаю то что задания из БД могут одновременно брать несколько воркеров и при этом не нагадить друг другу (сохранять консистентность данных)

[anyd3v]

@mainameiz в таком случае делайте в 1 потоке получение в данных + блокировку (отметку что задание в процессе обработки) и уже из этого потока рассылайте пулу потоков, которые будут асинхронно "делать полезную работу".

[Михаил]

@anyd3v, тогда процесс получения будет в один поток, все будут ждать друг друга на выборе

Answer 2

[Михаил]

pgq. ну или просто на таблице делайте