Как очистить базу от нерабочих емейлов?

Question

[Юрий]

На моем сайте установлена простая форма подписки через которую подписалось 15 тыс подписчиков на рассылку (без проверки емейла). Все емейлы хранятся у меня в бд.

По Exim-им логам я вижу что многие емейлы нерабочие и я их удалил, порядка 500-1000 емейлов. Но я уверен, что в базе еще много мусорных емейлов.

Может есть какой нибудь хороший сервис для проверки емейлов, посмотрел бы даже в сторону платных.

Догадываюсь что все это можно попробовать сделать через сервисы подписок по типу mailchimp, unisender, smartresponder и т.д. может кто то делал так?

Answer 1

[AgentSIB]

Можно сделать так:
1. Проверить валидность ввода с помощью регулярки или продобными способами (http://habrahabr.ru/post/108475/)
2. Далее можно реализовать проверку c помощью MX записей (http://habrahabr.ru/sandbox/60991/). Это так же поможет отклонить часть нерабочих емайлов.

Comments

[EugeneOZ]

Оба совета приведут к удалению валидных адресов.

[AgentSIB]

Если правильно составить регулярку, то врядли. Либо использовать регулярку с rfc (http://www.ex-parrot.com/pdw/Mail-RFC822-Address.html). По второму пункту — возможно, эта идея только на уровне «а почему бы не попробовать так».

Answer 2

[EugeneOZ]

А в чём выражена потребность удаления? Объём более, чем скромный. Из-за чего их дорого держать?
Почтовые адреса нельзя проверить по отчётам почтовых серверов и заголовкам их ответов. Для проверки заведите себе ящик на rambler и пообщайтесь с почтовым сервером.
Регулярками можно срезать много валидных адресов, т.к. по спецификации перед @ может быть что угодно, ограничение только по длине. Погуглите — на SO есть известные ответы на эту тему.

Comments

[max_mara]

Если пытатся делать рассылки на несуществующие имейлы, то ip адреса, с которых Вы это делаете, быстро-быстро расползутся по спам-базах.

[EugeneOZ]

ip адреса? Рассылки делаются через сервисы вроде Postmark и Mailchimp. Со своих серверов делали рассылки в эпоху динозавров.

Answer 3

[Max]

Есть сервисы, но они довольно дороогие. Сам пользуюсь www.briteverify.com/

Comments

[Владимир Морозов]

Это ОЧЕНЬ дорогой сервис ))))

Answer 4

[karellen]

Все проверки в Mailchimp и т.д. также завязаны на получение и парсинг ответов от mailer daemon. Самый лучший, на мой взгляд, способ уничтожить «лишних» подписчиков — это тэгирование всех ссылок и картинок в письмах уникальными значениями, сбор статистики по кликам и загрузкам картинок, и удаление из списка рассылки товарищей, которые никогда не открывали и не кликали ничего, например, в течение 1-3 месяцев.

Comments

[karellen]

Первичную чистку можно провести регуляркой — на 15 000 адресов я бы не стал волноваться, что там будут экзотические валидные адреса ".рф" и т.п.

Потом выбирайте все домены (то, что после @) и попробуйте прогнать на них поиск MX-записей DNS. Если записи нет, такое письмо тоже никуда не будет отправлено. Главное перед этим удостовериться, что ваш сервер DNS надежный, иначе будет некоторое количество ложных срабатываний.

Answer 5

[max_mara]

Вы сначала прогоните все записи по регуляркам, потом проверьте наличие MX записи у домена и после попытайтесь подключится к каждому домену и спросить SMTP о существовании имейла. Еще бы не помешало прогнать по базам spam traps и «honeypots»

Если леньки этим заниматся — пишите, договоримся ;)

Comments

[librarian]

Наличие MX записи не означает, что письмо не будет доставлено.

Answer 6

[Юрий]

Написал скрипт на пайтоне который проверяет MX этого пока достаточно, отсеял примерно 15% емейлов, перед тем как удалить их из базы я предварительно визуально оценил их, практически все были похожи на сгенерированные или просто просроченные домены. У меня рассылка не коммерческая если вдруг несколько рабочих емейлов удалил — нестрашно.

Answer 7

[Андрей Соколовский]

Вот написал подробную инструкцию на тему проверки всяческих баз на валидность: читать.