Как фильтровать нецензурную лексику?

Question

[maksimbagatov]

Есть сайт с посещаемостью порядка 6000 чел в сутки. Люди оставляют много комментариев. Модерировать вручную возможности нет. Как фильтровать нецензурную брань в комментах? Может, есть готовые и эффективные решения? Кто как с такими ситуациями борется?

Answer 1

[Shaco]

Если люди хотят ругаться - они будут ругаться. Никакие словари, автозамены, и тому подобные вещи от этого не спасут. Составить словарь, содержащий бесчётное количество словоформ (люди у нас изобретательны), слова с буквами другой раскладки, слова, разделёнными посторонними знаками, с изменённым порядком букв - никакого терпежа не хватит. Эврестический анализ гарантирует ложные срабатывания - как их обрабатывать? Без ручной модерации ничего не выйдет. Если вы рассчитываете полностью избавиться от ручной модерации, и при этом хотите обезопасить себя от мата в комментариях - придётся отключать комментарии :)

Answer 2

[Сергей]

Запретить Камеди Клаб, проводить уроки этики в школе, делать флеш-мобы "я не ругаюсь".

(ну можно еще посмотреть в движках форумов, например, phpbb, как у них реализован словарь матершины и автозамена)

Comments

[Melkij]

Хреново он организован. На железячном форуме зацензуренное "потребляет 10вт" выглядит феерично!

[Сергей]

Ну тут кто как настроит) А вообще делать в форме (в контроллере) "beforeSave" с подключением базы автозамены с любыми словоформами и наблюдать как пользователи будут изголяться)

[Сергей]

И increase переменную $mat. Если у юзера превышает больше 10, то временно блокировать

Answer 3

[Сергей Протько]

Это назвается profanity filter, реализаций масса, все упирается в достаточно емкий словарь. Именно автобан поста лучше не делать, ибо могут быть ложные срабатывания, но можно сделать систему приоритетов для модераторов. Скажем если в посте есть мат, повышать приоритет. Так больше вероятность что модераторы будут быстрее реагировать на оскорбления и прочее.

советую почитать.

Answer 4

[Avery007]

Сделать массив запрещённых слов и при выводе текста на страницу заменять совпадения на звездочки. Самый банальный вариант.
P.S. + в настройках профиля пользователя было бы не плохо сделать функцию отключения цензуры.

Answer 5

[square]

Можно попробовать обертку для яндексовского стеммера https://github.com/aotd1/mystem/
Словарь для 99% попаданий я думаю составить не проблема и руками.