Отправка максимально большого количества писем через собственный сервер. Чем и как?

Question

[Dimetriy]

В базе подписчиков более миллиона email адресов.
Пользуемся сторонними рассыльщиками, но получается в рамках года реально дорого. Очень дорого.
Есть возможность поставить под это дело свой сервер с белым IP к хорошему провайдеру.
DKIM, SPF и прочие прелести естественно тоже есть.

Вопрос - на чем писать и как отправлять?
Пытаюсь понять архитектуру. Просто отправлять из php по одному сообщению через Экзим (сейчас его используем для рассылки заказов\регистраций, отдельно от маркетинговой рассылки) - получается очень долго. Насколько я понимаю он не может сильно переварить поток и получается отправлять 2-3 письма в секунду (но это не точно). Таким образом вся база будет рассылаться по 30 часов что вообще не вариант.

Что можно использовать для этого? Точнее какие технологии? Чем пользуются рассыльщики легальные?
Пока что у меня кроме идеи - фигачим 100 docker контейнеров с экзимом и очередями - мыслей нету. Это такое себе решение + замучаешься отрабатывать логи потом всего этого дела.
В общем приветствуются любые идеи, ссылки на ПО или обучалочки. Можно платное ПО.

П.С. Чтоб не было вопросов на тему "ай спам не хорошо" - вся рассылка белая, только на тех кто подписался сам. Исключительно собственные клиенты.

Comments

[Одиночка Айс]

PHPMailer и очередь

[Dimetriy]

Одиночка Айс, И мы получаем отправку сообщений в течение 30 часов. на виртуалке в мэйлхог у меня за 5 часов отправилось вообще чуть более 20 тысяч сообщений.

[Одиночка Айс]

Dimetriy, не юзайте виртуалки, не юзайте mail()

[Dimetriy]

Одиночка Айс, Я не использую mail, я использую Yii2. Во вторых - а где вы тестируете пардон свой код. И в третьих - я выше написал - проблема то не в PHP а именно что в exim. С его пропускной способностью пардон что делать?

[Одиночка Айс]

Dimetriy, замените exim на PHPMailer и потестируйте, не понравится, будете думать дальше

[neol]

Одиночка Айс,

замените exim на PHPMailer и потестируйте, не понравится, будете думать дальше

Какой феерический комментарий…

[Dimetriy]

Одиночка Айс, Еще раз - где связь между скриптом отправки письма на smtp сервер и собственно самим smtp сервером. То есть между PHPMailer и exim.
В данном случае все что вы можете указать - как то простая функция mail, PHPMailer или любой другой скрипт будет общаться с exim или с любым другим smtp а ля sendmail, postfix, msmtp и иже с ними.

[Одиночка Айс]

Dimetriy, ок, почему именно exim? Если вы уперлись в его пропускную способность? Вы тестировали другие связки скрипт/MTA? Или ждете готовый шаблонный ответ, исходя из чужого опыта?

[Dimetriy]

Одиночка Айс, Тестировал. Мне нужно отправить миллион сообщений каждое примерно в 200 + Кб максимум за час.
Выше neol дал мне наводку, буду смотреть как это будет работать.
Экзим потому - что он максимально быстр по сравнению с postfix, нормально подписывать dkim и сопутствующее древним сэндмэйлом у меня не получилось сколько не бился. У других мта вида msmtp или ssmtp большие проблемы со спам-фильтрами.

[Одиночка Айс]

Dimetriy, вас тогда и правда несколько потоков только и спасет

[Dimetriy]

Одиночка Айс, Вот я и спрашиваю - несколько потоков чего? Может есть готовое решение. Сколько гуглю - не могу найти.

[Одиночка Айс]

Dimetriy, почта будет параллельно отправляться в несколько потоков. Так вы миллион отправляете в одном потоке, а так по 100К в 10, условно.

Answer 1

[neol]

Exim по умолчанию пытается отправить письмо сразу, как его получает и ваш скрипт ждёт завершения этого процесса. Соответственно, если у вас скрипт на PHP и вы не озаботились его распараллеливанием, то всё будет крайне печально. Но если добавить в конфиг exim параметр queue_only, то письмо будет попадать в очередь отправки и отсылаться потом.

А чтобы очередь обрабатывалась пободрее понадобится уменьшить время между отправлением очереди ( для debian задаётся переменной QUEUEINTERVAL в /etc/default/exim4 ) и, вероятно, указать количество обработчиков очереди (queue_run_max в конфиге exim, по умолчанию 5).

Comments

[Dimetriy]

очень большое спасибо!
PHP просто как пример. Сам отправщик будем писать на Golang скорее всего.