Как лучше фильтровать контактные данные?

Question

[vosi]

Стоит задача - скрывать контактные данные у пользовательских сообщений (эл. почта, сайт и телефон).
Понятно, что простые регекспы не подойдут, ибо никто не менял munging.

Думаю над оптимальным алгоритмом. Пока остановился на н-грамах, нахождение подозрительного токена (напр. больше 2-3 цифр | @ | [at] | at " dot ) и осмотр соседних.

В общем, посоветуйте, кто сталкивался, по какому пути пойти, или, может, вообще что-то есть готовое ... или библиотеки какие в помощь.

Answer 1

[yttrium]

не "простые регекспы", т.е. сложные

Comments

[vosi]

только регекспы тут вообще не подойдут

[yttrium]

не нравиться слово RegExp?

[vosi]

hi, my email is fon dot vosi {at} google dot com
fon.vosi at google com
fon dot vosi @ google dot com
fon[.]vosi[@]google[.]com
fon dot vosi at google com

[yttrium]

напрашивается RegExp

[vosi]

ну, как минимум, сотня-полторы

[yttrium]

конкретно эти пять строк можно одним записать

[vosi]

скажите, вы отвечаете просто чтоб ответить?

[yttrium]

иногда да
(\w+\s?((dot)|(\.)|(\{at\})|@|(at)|(\[@\])|(\[\.\])|(com))\s?)+(com)?

Answer 2

[Ivan Soshnikov]

Подойдут простые регэкспы. Только необходимо сначала составить базу регулярок.
Только это все равно не сработает, если пользователь захочет предать инфу.
Потому как абоненты человеки, а у программы даже нет блестящего металлического зада.

Comments

[vosi]

что не сработает - это я в курсе, предупредил заказчика
правда, он все твердит, что "вот у airbnb же как-то получилось, почти непрошибаемый фильтр", я ему предложил 5ти значный счет и пол года срок )))

Answer 3

[gimntut]

Простые регулярки + модерация по подозрительным токенам.
А потом сложные регулярки и н-граммы на основе статистики собранной в результате модерации.