Какой библиотекой сравнить тексты по смыслу?

Question

[qovalenko]

Хочу поинтересоваться есть ли уже готовое приложение которое позволяет отсортировать тексты по смыслу?
Допустим эти тексты про футбол, а эти про машины? Или эти тексты одной новости с разных сайтов?
Спасибо!

Comments

[sim3x]

https://www.google.com.ua/search?q=python+text+cat...

[xmoonlight]

sim3x, не то просит автор!
"категоризация" и "по-смыслу" - кардинально разные задачи)

[sim3x]

xmoonlight, нет алгоритма, который будет определять смысл

Если требуется разделить тексты - то кластеризация

[xmoonlight]

sim3x, Давно уже есть, просто он не валяется в и-нете просто так для каждого...

[sim3x]

xmoonlight, ок
Значит я пропустил момент, когда создали полноценный АИ
Пойду поговорю с ним за жизнь

[xmoonlight]

sim3x, За жизнь - поговорить можно, но пока это будет отличаться от человека в иную сторону (не лучше и не хуже, просто иначе).

[sim3x]

xmoonlight, и сарказм он пока не умеет считывать. Ага

[xmoonlight]

sim3x, Скорее всего, не умеет. Однако, это вопрос ближайших 1-2 лет.

[vedere]

Было дело, писал кому-то диплом на тему. По смыслу сравнивать не научились еще (проблема черного ящика, все дела), а вот просто найти сходные тексты/кластеризовать с некоторым допущением можно кучей разных способов. Самый простой - нормализовать в соот-ии с языковым корпусом -> преобразовать в частотную матрицу -> сравнить их/кластеризовать. Не самый быстрый/удобный/качественный, но вполне рабочий и универсальный. Копайте в сторону word2vec. А вообще можно и deep-learning юзать и ga и прочее. Но перед тем как это использовать, стоит разобраться в существующих механизмах.

[xmoonlight]

vedere,

По смыслу сравнивать не научились еще (проблема черного ящика, все дела)

Отношения сущностей с их свойствами и с их действиями - уже научились разбирать давно...

[qovalenko]

vedere, xmoonlight, яндекс сортирует новости, делает выборку с разных сайтов и группирует новости по смыслу)

[xmoonlight]

qovalenko, да-конечно, поэтому я и говорю, что уже всё давно создали... (просто нет в паблике в открытом виде)

[vedere]

xmoonlight, Боюсь вы излишне идеализируете современные достижения. Именно по смыслу высказывания (а тем более текста) разбирать не научились и еще достаточно долго не научатся. Да, есть кластеризация, статистическая сходность, машинное обучение на разных алгоритмах - это сколько угодно, но работает очень ограниченно, на подготовленных наборах данных и без непосредственно анализа. Обобщения, контекст, специфическая лексика, фразеологизмы - требуют процесс мышления (или эмуляцию его части). Нормальные нейросети частично эмулируют процесс, но это даже близко не анализ текста проводимый человеком. Советую вам все-таки прочитать более-менее современные исследования на эту тему, а то от ваших высказываний веет японскими учеными из середины 80ых. А в паблике (боже, так конспирологией от ваших высказываний повеяло) все есть, не готовый код конечно, но мат-аппарат, части программных решений и подходы есть в свободном доступе.

[xmoonlight]

vedere, Не бойтесь: это же просто ваше личное мнение.
PS: "не научаться" => не научатся

Answer 1

[xmoonlight]

Смысл можно сравнивать только когда есть база подобий: выражения (словосочетания или последовательность слов), несущие одинаковый смысл.

Пример:

Компания приступила к созданию нового продукта.

Компания начала разрабатывать новый продукт.

Подобие выражений (время, число, род - должны совпадать!):
приступила к созданию = начала разрабатывать

Нужно привести 2-ю строку к единому виду:

Компания приступила к созданию новый продукт.

и поменять падеж:

Компания приступила к созданию нового продукта.

Теперь, эти две строки будут одинаковы:

Компания приступила к созданию нового продукта.

Компания приступила к созданию нового продукта.

Как составить свою базу подобий я расскажу в своём блоге чуть позже.

Answer 2

[qovalenko]

NLTK

Answer 3

[Dimonchik]

IBM Watsons

Comments

[xmoonlight]

явно, что не "облако" нужно автору)

[Dimonchik]

ну естественно, а еще лучше cracked или с тракера ))) чотенько по СЕОшнму проспамить чтобы

но пусть готовит денежку )

[xmoonlight]

dimonchik2013, пусть они все готовят денежку)))