Практические применения систем анализа текстов на естественном языке

Question

[Федор Малышкин]

Какое могло бы быть применение у системы анализа текстов на естественном языке, которая бы могла выполнять полный семантический анализ почти любых текстов? Интересует практическое применение подобных систем (типа вот этого), т.к. в большинстве статей и книг упоминаются такие применения: «анализ информации на предмет целевых критериев» или «выделение ключевой информации» — надо признать подобная «вода» не дает никакого представления о возможном применении.
Возможно, у кого-то в своих проектах возникают потребности в таких системах – про эти «потребности» хотелось бы услышать (в деталях).

Answer 1

[Rome]

Чтобы узнать какой кандидат победит на выборах, достаточно подсчитать сколько раз его фамилия встречается в прессе. Проще говоря, сколько раз людям промыли мозги. Можно также узнать о разработке нового оружия, если о ключевых компонентах системы стали в прессе больше обсуждать или наоборот тема неожиданно исчезла из прессы. В последнем случае так произошло при разработке ядерной бомбы у американцев.
Если обращать внимание на конструкцию текста, то можно построить шаблоны. Если текст специально коверкается, то с чем это связано? Просто молодежь развлекается или что-то пытаются скрыть? Имея достаточно мощные сервера можно добиться очень качественный анализ текста по шаблонам.
Исходя из всего, вы должны понять почему пишется «вода» и никакой конкретики.

Answer 2

[becks]

Я сейчас работаю над похожей системой (ссылку на которую привел автор). Определяются некоторые категории сущностей (ФИО, названия организаций, марки машин, номера телефонов и куча всего прочего) для них пишутся правила (как их выделять в тексте). По выделенным сущностям строится семантическая сеть. Для выделения отношений между сущностями тоже пишутся правила. Ну и собственно полученная сеть (или граф) красиво визуализируется, если нужно укладывается в базу. К сожалению более подробно я рассказывать не могу, но область применения очень широкая. Особенно хороший результат получается, если есть огромная кипа довольно похожих документов, различного рода оперативных справок (правил выделения писать для них меньше).
Если как-нибудь время найду и начальство не будет сильно против, обязательно напишу тут статью, думаю народу будет интересно.

Answer 3

[Fahrenheit]

Sentiment analysis для больших объемов текстов (социальные медиа в мировом масштабе). Чем лучше внутренний анализатор текстов — тем точнее отчеты. Сейчас работаю именно в этой области.

Answer 4

[Александр Скакунов]

Мы думаем про что-то такое для своего проекта — человек пишет в поиск, де, «трёхкомнатная вилла на Майорке в конце августа» — и ему хоп, показывает результаты поиска с точно заданными параметрами.

Comments

[Федор Малышкин]

В случае вашего проекта (у которого есть заранее известный словарь) – разве требуется для него семантический анализ? Возможно просто система правил: поиск окончаний («-комнатная», «-кварирная»), начала слов («двух-», «трех-») и т.д.?

[Александр Скакунов]

Думаю, требуется, ведь пользователь может написать вообще что угодно в свободной форме, ещё и на разных языках.

Answer 5

[slpdmn]

Это совершенно не вода. Перевожу:
«анализ информации на предмет целевых критериев»
означает анализ рекламных объявлений типа куплю<->продам нахождение соответствий и выдача полученного списка. Актуальнейшая задача.

«выделение ключевой информации»
означает анализ текстов на предмет упоминания заданной информации в заданном контексте. Грубый пример «взорвать посольство». На практике коммерческие применения интересуют значительно больше, это целевая реклама в первую очередь и семантический поиск в еще более первую. И да, авторефераты, но это потом, потому что до того, компьютер уже научится говорить.

Comments

[Федор Малышкин]

Про рекламу согласен: всевозможным агентствам объявлений было бы достаточно легко объединять покупателей с продавцами, используя семантический анализ предложений и запросов.

А вот «целевая контекстная реклама» и «семантический поиск» разве это не удел «гигантов»? Каково может быть применение таких технологий в частных проектах небольших групп разработчиков?

Складывается впечатление, что отсутствие технологии порождает отсутствие идей. И наоборот – при её появлении возникнет целый всплеск идей по её использованию. На часть этого всплеска я, в общем-то, и рассчитывал (или на ранее накопленный запас не реализованных идей, связанный с этой областью).

[slpdmn]

Про рекламу — как только этот вопрос будет решен в общем виде, никакие рекламные агенства больше не понадобятся. Или, по-крайней мере, их бизнес будет радикально изменен. Именно поэтому… (с) Winni TP. Я, в свое время, подумав пару вечеров, отказался от публикации результатов по этой теме.

Про поиск — гиганты и маленькие предприниматели различаются только диапазоном поиска (в текущем контексте). Решение проблемы даст инструмент обоим.

Про идеи: дело не в их отсутствии. Наличие инструмента порождает комплекс возможностей по его использованию. При отсутствии перфоратора, стены, там где это возможно, долбят зубилом и молотком, но все равно долбят. Это вопрос правильного маркетинга, и отдельного обсуждения.

Answer 6

[gleb_kudr]

Очень насущная задача много для чего — это автоматическая классификация. Например, из длинного пространного описания гаечных ключей понять, что они бывают такие и такие, ключ номер 1 такой, а ключ номер три — другой.

Answer 7

[ganqqwerty]

вот мы делаем системы для создания технологических форсайтов (это что-то среднее между планами и прогнозами). Люди собирают т.н. сигналы — события, которые могут быть важными для отрасли, и на основе нескольких сигналов у них должны появляться идеи трендов. Сигналов много, поэтому хочется показывать пользователю небольшие группы сигналов, которые связаны между собой или как-либо похожи. Тут бы очень пригодился классификатор.