Поиск скрытых ссылок в тексте

Question

[shuler]

Всем привет!

Спамеры использую различные способы написания ссылок в тексте, чтобы проходить фильтры, например:

v k c o m
vk7com
vk.c*om

Есть ли какое-нибудь более менее универсальное решение поиска таких ссылок в тексте?

Answer 1

[egorinsk]

1) Берем словарь русского + словарь английского. 2) Убираем из текста словарные слова 3) Склеиваем то, что осталось.

Естественно, словарь придется дополнить опечатками, неологизмами, нецензуршиной и т.д.

Comments

[egorinsk]

И да, вы неправильно боретесь со спамом, бороться регулярками — это убого.

[shuler]

Спасибо за ответ!
И какова трудоемкость этого подхода? И что, если текст содержит слова, которых у нас нет в словаре — это сразу спам?

[egorinsk]

Трудоемкость высока, такие проверки лучше всего делать отдельным демоном. который будет держать словарь постоянно в оперативной памяти. Не прошедшие словарь слова не обязательно спам, их надо как-то обрабатывать отдельно: например, склеивать буквы из них и проверять по черным спискам.

Но вообще есть куча других способов: привязка к телефонам (вконтакте), карма и инвайты (Хабр), лимиты на число отправляемых сообщений в единицу времени, лимиты на отправку однотипных сообщений (соцсети). Сделать 100% фильтр на основе только текста сообщения все же сложно.

Answer 2

[4ikist]

База спамеров, ручная модерация, регулярки, каптча.