Как написать детектор бреда на Python?

Question

[kolya2_romanov]

Я хочу чтобы я куда-то передавал строку типа "asdasfgasgfasgfasgas" или "лололололол)))" и программа вычисляла, бред это или нет. То есть чтобы на "Французские булочки", например" она реагировала не как на бред, а на "лелелелле" как на бред. С помощью чего это можно реализовать?

Comments

[Пашенька]

А норм, спс, ваще агонь! – это бред или нет?

[rPman]

это является бредом?

Величина, оторванная в область дипломатии, даёт свои колебания на всю дипломатию. А Илья Муромец даёт колебания только на семью на свою. Спичка в библиотеке работает. В кинохронику ходят и зажигают в кинохронике большой лист. В библиотеке маленький лист разжигают. Огонь… э-э-э… будет вырабатываться гораздо легче, чем учебник крепкий.

[Роман]

поддержу Пашенька, для примера того же клевербота взять, каждая его фраза одновременно и бред и не бред.

[kolya2_romanov]

Бред рассматривать как строчку, вообще не имеющую смысла, то есть в ней нет осмысленных слов, просто "улюлю" "абябяб" "крфылда88))рдфлыа"

[Antonio Solo]

Варкалось. Хливкие шорьки
Пырялись по наве,
И хрюкотали зелюки,
Как мюмзики в мове.

бред ?

[Роман]

Antonio Solo, rPman, даже гугл с такими "оссмысленными" генерациями, основанными на цепях маркова почти год не мог ничего сделать (вываливалось периодически в результатах поиска)

[Пашенька]

kolya2_romanov, не имеющую смысла для кого? Кто-то может в чём угодно найти смысл, кто-то – нет, в силу более узкого восприятия или иных факторов. Вы сами не можете дать критерии того, что является бредом, и, в данном случае, это нормально. Тогда как же это сможет сделать программа? Программа – это алгоритм действий, написанный человеком.

[Сергей П]

kolya2_romanov, в смысле?! "улюлю" - это не бред! Это когд аты бежишь маленький красный с деревянной винтовкой, а в кустах белые залегли и громко отстреливаются.

[Пашенька]

Роман, Цепи Маркова нормально заходили ему в виде дорвеев в дветысячишестых и, наверное, ещё много лет (:

[Роман]

Пашенька, ну так я про те времена и говорю)

[Роман]

Роман, с намеком на то, что одна из крупнейших компаний, имеющая в своем распоряжении мощнейшие синтаксические, семантические, лексические и контекстные анализаторы не могла справится с данной задачей. А тут чувак имея пенек и питон, не имея контекста, а имея отдельные, выдранные из контекста наборы букв хочет определить бред/небред)))

[Antonio Solo]

"улюлю" - это не бред! Это когд аты бежишь маленький красный с деревянной винтовкой, а в кустах белые залегли и громко отстреливаются.

Сергей Паньков, но это будет бредом, если ты позвонишь в службу поддержки банка

[Сергей П]

Antonio Solo, если это секретное слово для уатентификации клиента, то отнюдь.
Короче, суть в том, что любое сочетание байтов, букв, вспышек света, электрических импулсов, клубов дыма, звуков очень сильно связано с контекстом и может считаться бредом или полезным сообщением в зависимости от контекста, от информации, которой владеет получатель, от интерпретации.
Автор вопроса наивно оставил за скобками определение смысла. Что такое осмысленное сообщение, каковы его критерии? Это очень сложный вопрос.

Скорее всего автору не требуетя решать сложные философские вопросы о том что такое бред, а что такое нет.
Скорее вего можно обойтись простой проверкой по словарю или проверкой частотсности вхождения символов на соответствие частотных показателей конкретного языка, или, если есть большая обучающая выборка, можно обучить нейронную сеть, или вообще оценивать дианмику набора символов, если они приходят с клавиатуры, а може быть имеет смысл оценивать другие критерии, например тайминги действий и паттерны поведения пользователя.

Но атвор вопроса нашел "самый простой" способ решения и озадачил им нас: "построить сильный ИИ, которому бы не скучно было классифицировать для него (автора вопраса) строки по стеени бредовости".
По мне, так автора бы такой ИИ точно зарубил бы.

[Adamos]

Antonio Solo, заткнись и слушай! Это ключевая фраза!

Answer 1

[Владимир Коротенко]

Атр я рж с вс и в тки хтите брд пределит?

Между прочим вы восстановите эту фразу

Comments

[Роман]

по мне так фраза "автор я ржу с вас и вы таки хотите бред определить" достаточно бредовая и с полным набором букв)))))

[Владимир Коротенко]

Роман, Но несмотря на шум вы определили ее дословно. А вот что то машинное справится с трудом

[Роман]

Владимир Коротенко, дайте мне комп с многомного оперативки)) и не меньшим количеством терафлопсов и я решу эту задачу алгоритмически))))

[Loli E1ON]

[Alex]

пока не прочитал коммент Романа ничего не понял кроме "определит"))

[Antonio Solo]

ничего принципиально невозможно в вашей задаче нет.

1) получение из ошибок возможные оригиналы -для каждого слова массив оригиналов.
2) имея оригиналы - восстановление наиболее вероятной последовательности, используя корпус текстов

С другой стороны если рассматривать нормальное общение людей, то вполне допустимо считать это за бред. По крайней мере я просто игнорю сообщения, если речь собеседника недостаточно грамотна и содержит кучу всякого мусора.

[Владимир Коротенко]

Antonio Solo, лол да вы сноб! А как же кащениты, хацкеры и прочие? И до кучи вы сейчас обидели индусов и чёрных братьев говорящих на эбони

[Antonio Solo]

Владимир Коротенко, есть немного. если кого обидел - всем прощаю.

p.s. сам когда-то был подписан на кащенко.локал ... и было ведь время..

[Владимир Коротенко]

Antonio Solo, чёрные братья и феминисторши это практически на краю

Answer 2

[Antonio Solo]

вариант 1 - создать словарь и проверять наличие введенных слов в словаре (с поправкой на морфологию и на ошибки)

вариант 2 - сделать нейросеть и обучить ее. тут можно наобучать как на морфологию (то есть ловить afasfasfsd), так и на "смыслы" (то есть ловить "Спичка в библиотеке работает") - второй случай сложнее, но реализуемо.

вариант нейросети не исключает предварительную обработку словарем, морфологией, ошибками

Answer 3

[Армянское Радио]

Минимальный детектор бреда - это анализатор устройства слов по ряду формальных признаков
1) Слова на естественном языке не содержат цифр
2) Слова не содержат повторений букв больше двух подряд
3) В большинстве слов не содержится подряд больше двух согласных или больше двух гласных. Исключения можно поместить в словарь
4) Большинство слов не содержат циклических повторов групп символов.

Comments

[xmoonlight]

35%

[Everything_is_not_so_bad]

xmoonlight, 60-75% мусора может вполне отсеять. А для более хитрых сценариев потребуется что-то большее.

[xmoonlight]

Роман Мирр, я не про это. я про описание фильтра говорю. сейчас он и все нормальные отсеет.

Answer 4

[xmoonlight]

С помощью чего это можно реализовать?

токены перестановок + regex.

Comments

[Antonio Solo]

поясни

[xmoonlight]

Antonio Solo, яснее - уже некуда))

[Antonio Solo]

xmoonlight, "токены перестановок" - никода не встречал такой фразы

[xmoonlight]

Antonio Solo, regex - читаем. и там есть понятие токенов. далее - перебираем перестановки)

Answer 5

[newvasyuki]

Задача явно для машинного обучения и нейросетей. Задача классификации, supervised learning. Похожа на задачу детекции спам/не спам (ham). Пробуйте, мож че получиться.

Answer 6

[Владимир Серёгин]

Согласен с комментами, ответ зависит от контекста и определения слов «бред» и «смысл».

Но в вашими примерами (

"asdasfgasgfasgfasgas" или "лололололол)))" VS "Французские булочки"

) справится spell checker. Например, https://pypi.org/project/pyspellchecker/