Как организовать отправку большого количества писем с помощью очередей?

Question

[dostoevskiy54]

Необходимо создать сервис для рассылки электронных писем. Объём ~50k в сутки, причём все сообщения формируются одним куском, а не на протяжении всего дня. Задумался над использованием распределённых вычислениях с последующим увеличением воркеров. Собственно встал вопрос как это всё организовать?

Из вариантов вижу 2:
1)Создавать на каждое письмо по 1 задачи в rabbitmq, но тут встаёт вопрос о производительности, не будет ли это сильно уменьшать её и не придётся ли делать батчинг на воркере (брать сразу несколько задач)

2) Создавать 1 задачу со всеми письмами, но тогда уже стоит вопрос как делить нагрузку между воркерами

Кто разбирается в теме, можете подсказать как лучше это всё организовать?

Comments

[Daria Motorina]

А чем обоснована рассылка в одно время?

[dostoevskiy54]

Daria Motorina, Происходит рассылка по всем юзерам проекта и чем быстрее она завершится, тем лучше

Answer 1

[Dimonchik]

вы, наверно,пишите на чем-то скриптовом, ибо 50к коннекшинов в сутки - вообще плевая задача
не плевая задача - организовать их доставку
даже не знаю, как покороче
гуглите , наверно, PowerMTA для начала https://www.sparkpost.com/powermta/
ну и чтобы два раза не вставать - сразу закупайтесь тут , тем более скидка на пятницу есть вроде еще

а так - в целом все правильно видите - насыпайте в очередь и обрабатываете, меняя доставщики в зависимости от...

Comments

[dostoevskiy54]

Спасибо за ответ.

В вопросе не совсем правильно выразился, происходит рассылка не только электронных писем, а и уведомлений в телеграм, вайбере и тд. На что юзер подписан, туда и шлём)

[Кирилл Горелов]

dostoevskiy54, дружище, это уже 3 разных задачи.....
По этому наверное решать их тебе придется по отдельности.
Только я бы сделал тогда три разных очереди, а не одну, как посоветовал dimonchik2013

[dostoevskiy54]

Кирилл Горелов, В целом да, наверное лучше будет разделить все типы сообщений на разные очереди и по необходимости добавлять воркеров к каждой. Спасибо

[Дмитрий Свиридов]

dostoevskiy54, это в принципе надо на разные сервисы поделить

Answer 2

[javedimka]

Используй мобильного агрегатора, который умеет в email/sms/telegram/whatsapp etc. Их сейчас сотни, и у всех, преимущественно, можно настраивать рассылку кампаний.