Существуют ли общедоступные инструменты для проверки текста на спам или базы «спам-фраз» для самостоятельной проверки?

Question

[bamboozle]

Есть сервис, который обладает функционалом, позволяющим сгенерировать письмо для нужного адреса. Например, можно пригласить других присоединиться к использованию сервиса, либо просто зарегистрироваться по имейлу и ждать письма с подтверждением. С недавних пор этим начали активно пользоваться спамеры. Текст писем генерируется сервисом, однако спамерам достаточно имени пользователя, в которое они включают ссылки и прочий мусор. Язык спама в основном китайский и русский. Первая мысль была: наверняка есть сервисы или инструменты для автоматической проверки текста и детекта спама.
Увы, все оказалось не так просто. Гугл с радостью выдал spam assassin как самый популярный инструмент, однако он:

• рассматривает в первую очередь заголовки, данные отправителя и т.д., а нас интересует только текст (наверняка можно настроить)
  
• кажется, еще не понимает спама, связанного с криптовалютами (наверняка можно решить плагинами)
  
• самое главное - работает только с английским
  

Дальнейшие поиски инструментов или хотя бы готовых баз текстов для нужных языков (в первую очередь русского) ни к чему не привели и, похоже, придется городить велосипед. Но все же кажется, что подобная задача уже должна быть давно решена.

Платные решения тоже подойдут.

Answer 1

[noma]

SpamAssasin локальный.
Он настраивается.
В том числе и поддерживает русский и пр. что вам надо.

Готовых баз быть не может.
То есть какая то основа есть, но потом - это нужно настраивать и подгонять под себя.
Все эти спамо-фильтры должны обучаться регулярно. Поэтому вам нужно предусмотреть ручную передачу писем SpamAssasin в случае ошибок (обучение на спам или на "неспам")

Comments

[bamboozle]

В том числе и поддерживает русский и пр. что вам надо.

хм, когда гуглил, попадал на страницу на сайте Spam Assassin, на которой было что-то вроде "сорян, мы сами англоязычные, так что с другими языками туго", сейчас правда не смог ее найти. Погуглил еще раз сразу на русском - вроде что-то находится, но наборы правил достаточно старые.

Готовых баз быть не может.

Хм, оно-то конечно логично, что пополнять нужно постоянно, но была надежда, что пополнит кто-то другой, кто это делает лучше, а мы дадим ему денег, например. Т.к. если ловить спам руками, тогда и смысла в сторонних инструментах особо и нет.

[m0nym]

bamboozle, уже лет 10 как подобные системы самообучаемы.
Достаточно только скормить им кучу спамописем и кучу правильных писем - они правила сами создают.
Ну и при ошибках - индивидуально указывать что это письмо спам, а это нет - системы дообучаются.

[bamboozle]

m0nym, боюсь, у нас не те объемы, чтоб можно было самостоятельно обучить на все случаи жизни, потому и появилась мысль найти готовые решения

[m0nym]

bamboozle, там не ИИ.
они обучаемы крайне легко. нужно считанное количество писем.

Answer 2

[Владимир Дубровин]

К сожалению, таким образом вы проблему не устраните. Надежный способ решния - только устранить пользовательский контент (UGC) до валидации адреса. Достаточно подробно в т.ч. с описанием решений, в этой статье.

Comments

[bamboozle]

Валидация адреса - дело нехитрое. А китайцы так вообще руками спамили.

[Владимир Дубровин]

bamboozle, так если вы валидируете адрес (делаете double opt-in) то китаец сможет проспамить только сам себя.

[bamboozle]

Владимир Дубровин, погодите, речь о подтверждении почты, например при регистрации? в чем сложность китайцу зайти к себе в ящик и кликнуть по ссылке? Или я неправильно понял, о чем конкретно речь?

[Владимир Дубровин]

bamboozle, в том что он может зайти себе в ящик, но не может зайти к кому-то другому, поэтому не может проспамить чужой адрес.

[Владимир Дубровин]

Сейчас китайцы спамят чужие адреса.

[bamboozle]

Владимир Дубровин, ага, я понял, о чем вы. К сожалению, возможность взаимодействовать с незарегистрированными пользователями через имейл - одна из ключевых для сервиса, добавление дополнительного шага слишком усложнит работу с ним.