Как валидировать абсурдные суждения/предложения?

Question

[xmoonlight]

Пример:

Воздушный слон грелся на зелёном облаке во время сияющего круглого куба, где квадратные деревья спускались с левого колеса, перешагивающего через сферического коня в вакууме.

Есть какие-либо методики (теория) и наработки (код) в этом направлении (больше всего - теория интересует)?

Заранее, Благодарю всех откликнувшихся.

Comments

[Сергей Соколов]

Воздушный слон грелся на зелёном облаке

А что, прекрасный текст, развивающий воображение. Для детских книжек самое то.

[xmoonlight]

Сергей Соколов, ага, и отличный сценарий к игре майнкрафт))

[Adamos]

Заранее, Благодарю всех откликнувшихся.

Вот тоже хороший абсурдный материал.
Только тут с ним, похоже, человек сам не справился, где уж тут компьютеру...

[Владимир Куц]

А где та грань абсурда? Тут и человеку-то сложно разобраться )))

Answer 1

[xmoonlight]

Таблица истинности всех валидных натуральных свойств объектов с учётом корректности логических отношений каждого из свойств между собой.

Пример: Воздушный слон

Логика рассуждения (алгоритм работы кода):
1. Слон -> животное, перемещается, шагая по плотной поверхности, дышит воздухом (частично им наполнен)
2. Воздушный -> Воздух -> опирается на любую поверхность (снаружи), заполняет любое свободное пространство (изнутри).
3. Воздушный -> Наполняет изнутри или окружает объект со всех сторон.

Выводы:
1. Слон не состоит на 100% из воздуха.
2. Слон не окружён воздухом со всех сторон.

Итог: Воздушный слон - невозможен, суждение абсурдно.

Answer 2

[Dmtm]

только статистикой, при распознавании мы вынуждены предполагать что текст для говорящего имеет смысл, а делать вывод об абсурдности - только через накопление типичных использованных свойств
т.е. после обучения на 10000 текстов - для объектов будут выделены типичные свойства
и если скажем обучать на авангардных стихах то исходный пример - будет осмысленным, это нормально
абсурдность = мнение большинства, т.е. статистика

Answer 3

[Одиночка Айс]

Мне вот просто интересно как вы без словаря собрались это делать? Понятное дело, что к объекту можно применить чуть ли не все прилагательные (слон может быть и раненным, и влюбленным, и больным, и индийским, и дрессированным, и т.д.).

Вариант первый - составление пар. Есть 3 таблицы - существительные, прилагательные и их отношения, в которых также пишется статус пары (верно/ложно), типа "Индийский слон" - верно, "Жидкий слон" - ложно. При этом стоит учесть, что некоторые группы прилагательных, например, сравнительные (или как их там?) применимы к 99% существительных - БОЛЬШОЙ куст, БОЛЬШОЙ нос, БОЛЬШИЕ проблемы, МАЛЕНЬКИЙ рост, МАЛЕНЬКИЕ возможности, и т.д.

Вариант второй - научить ИИ языку, чтобы он понимал контекст, словоформы, потому что в первый вариант нужно еще добавить этот самый контекст, например "квадратные деревья спускались с левого колеса". Либо разбивать на пары "существительное - прилагательное" и если хоть одна пара ложная, то значит и все предложение ложное.

P.S. Обычно такой бред говорят/пишут больные, у которых проблемы с головой, не помню как называется болезнь, конкретно, но может ТС как раз для этого и хочет приблуду сделать, я хз))
P.S.S. В ИИ не шарю, понимаю, что словари должны быть просто огромными, я обычный диванный теоретик, пробегающий мимо))

Comments

[xmoonlight]

В ИИ не шарю, понимаю, что словари должны быть просто огромными, я обычный диванный теоретик, пробегающий мимо))

Видно, что ПсиХоПаты :) не шарят в ИИ)))

А такую фигню, помимо больных людей, пишут не совсем здоровые спам-боты систем автомаркетинга в комменты или в почту.

Вот... и хотелось бы это фильтровать автоматически, чтобы не получать подобный бред.
И ещё: если что-то похожее на подобный бред, но пока не являющийся им (процент "порога" не добило) - чтобы помечало как "Подозрение на спам".

[Одиночка Айс]

xmoonlight, все равно я пока вижу 2 варианта - словари и ИИ, либо писать юзер-агенты всех подряд, набрать критическую массу и писать скрипт для блокировки. Часто боты палятся, хотя я понимаю, что сейчас подменить можно как угодно.

[xmoonlight]

Одиночка Айс,
1. Зачем нужны словари, когда есть ИИ?! Берём тексты с инета и обучаем.
2. Мне не ботов нужно ловить))) а тексты бредовые.

[Одиночка Айс]

xmoonlight, я всего лишь предложил) Сейчас ИИ могут почти все, но не все используют)) Да и все равно что ребенка или иностранца обучать, хотя хз, я ж не в курсе.

[xmoonlight]

Одиночка Айс, я, как раз, именно из меньшинства "могущих" и велосипедить мне совсем не хочется... (ничего не найду - придётся...)

[Adamos]

xmoonlight,

Берём тексты с инета и обучаем.

Вы чему-то осмысленному собрались обучать или "текстам с инета"?

Пары по словарю - тупик. "Фарфоровый слон жует шашлык", например, для такой проверки совершенно валидно.

[Лев Забудкин]

Я бы поступил проще и вернее.
Берём последние символы от всех слов, что есть в предложении, но до символов а,е,и,у.
Если в предложении у всех слов с конца на скажем три символа вперёд, ну то есть substr -3, и там есть кто-то из них, и их много в общем предложении, скажем 3 или 5, то спам однозначно.

И никакой ИИ не нужен и словари тоже.

[Одиночка Айс]

Лев Забудкин, эм... а поподробнее? Почему именно эти буквы? Почему тогда можно считать предложение абсурдом?

[Лев Забудкин]

Одиночка Айс, я буду отвечать только тому, кто создал вопрос. Если Вам интересно услышать моё мнение, пишите в вайбере [phone]

[Одиночка Айс]

Лев Забудкин, жестко))

[Лев Забудкин]

Одиночка Айс, как есть. Время = деньги.
Пока у меня тут бэкапы лились, я тут помогаю людям.
Бэкапы лится закончатся, буду дальше работать.

[xmoonlight]

Одиночка Айс, ну, как бы, я-то - не против)))

Лев Забудкин, пожалуйста, ответьте мне на вопрос, который задал Одиночка Айс.

А именно:

эм... а поподробнее? Почему именно эти буквы? Почему тогда можно считать предложение абсурдом?

Answer 4

[Сергей Соколов]

Word embeddings на большом корпусе текстов выявляет расстояния между встречающимися словами и в т.ч. определяет, что "щенок" для "собаки" это то же, что "котёнок" для "кошки". Фразе можно давать "вес осмысленности" как функцию близости составляющих её слов. Меньше вес — вероятнее бессмыслица.

Результат зависит от того, какие тексты исползовать для обучения. Если скормить научные публикации и если детскую библиотеку сказок и фэнтези, оценки расстояния "воздушный" и "слон" получатся разными.

Ещё одна слабость в том, что модель никак не различает множественные значения слов: «смотрел на облако» и «залил на облако». P.s. и «смотрел на залив» )

Comments

[xmoonlight]

Весь и смысл как раз в этом: в зависимых и многозначных словах...

[Сергей Соколов]

Генерируется такая спам-бессмыслица теми же алгоритмами. Разница только в текстах, на которых учились )

[xmoonlight]

Сергей Соколов, теми же - это какими?))
Чтобы сгенерировать бессмыслицу - нужно знать: что есть бессмыслица. А если взять те же тексты и просто сказать, что всё что не близко к обученным текстам - это бессмыслица, то много смысла, не вошедшего в эти тексты, сразу же станет бессмыслицой, что будет точно явной ошибкой.

[Dmtm]

xmoonlight, для генерации достаточно согласования по синтаксису, на базе окончаний

Answer 5

[profesor08]

У каждого объекта есть свой набор свойств. Значит найди в предложении части [свойство] [объект], а потом проверяй, есть ли у объекта данное свойство, если есть - норм, если нет - абсурд. Либо на оборот, у каждого свойства есть список объектов, которыми им обладают. Так и проверяй.

Comments

[xmoonlight]

Значит и поясни на моём примере так, как ты советуешь.

[profesor08]

xmoonlight, что непонятно то?
[Воздушный] [слон]

{
  слон: [жирный, вонючий]
}

Свойство Воздушный отсутствует в наборе свойств слона

[xmoonlight]

profesor08, слон ещё и большой, и индийский, и африканский, и много ещё какой!
Как получить ВСЕ свойства-то?))

[profesor08]

xmoonlight, например в энциклопедии, либо поищи классификацию организмов.

[xmoonlight]

profesor08, много слишком объектов и свойств... посмотрим, что предложат другие.

Answer 6

[dllweb]

Это вы наверное хотите кривой перевод с одного из сервисов причесать?
Вряд ли получится понять где абсурдные суждения/предложения. Увы

Comments

[xmoonlight]

Нет. Это я хочу просто валидировать для дальнейшей обработки.

Answer 7

[deeppsycoder]

У BERT есть режим проверки логичности двух фраз. Думаю, можно это использовать.

Answer 8

[Лев Забудкин]

Я бы поступил проще и вернее.
Берём последние символы от всех слов, что есть в предложении, но до символов а,е,и,у.
Если в предложении у всех слов с конца на скажем три символа вперёд, ну то есть substr -3, и там есть кто-то из них, и их много в общем предложении, скажем 3 или 5, то спам однозначно.

И никакой ИИ не нужен и словари тоже.

Comments

[xmoonlight]

Пример: круглый квадрат.
Пошагово опишите валидацию такого вот спама.

[Лев Забудкин]

все предложения, что меньше 5-7 слов уже надо считать спамом.
Просили же алгоритм.
Если встречаем 1 символ обрамённый пробелами, то ищём такой же.
Если нет, то вероятность спама -1, если есть, то проверяем, есть ли такой же и сколько их.

Это же алгоритм.
Его развивать можно до бесконечности.
Но самый простой я предложил Выше.
Вы можете предложить свой, подкалывать не обязательно, я на истину не претендую.

[xmoonlight]

Лев Забудкин, Я не готов на такие жертвы.