Есть ли в открытом доступе инструменты компьютерной лингвистики с целью анализа предложений русского языка?

Question

[Urukhayy]

Есть ли в открытом доступе (на любом ЯП) инструменты, которые способны анализировать и преобразовывать предложения русского языка, в различных сложных формах, в какую-то модель или в какой-то упорядоченный алгоритм? К примеру, программы-переводчики каким-то образом анализируют предложения и различают смысл оборотов.

Желательно чтобы было определение действий сущностей, к примеру:

"Человек подарил 50 коробок с конфетами своей подруге в бане на даче".

Алгоритм должен определить, что:
- Подруга находилась в момент подарка в бане, а баня находится на даче (Объект баня это поле объекта дача)
- В коробках конфеты (Коробки это массив)

Comments

[alex-1917]

нет конечно!
ГУГЛ и прочие вообще скупают целые фирмы, которые занимаются схожими разработками.

Answer 1

[deepblack]

Готового решения нет, но возможно вас заинтересуют следующие проекты:

• Dostoevsky - Sentiment analysis library for russian language
  
  
• Natasha - библиотека для поиска и извлечения именованных сущностей (Named-entity recognition) из текстов на русском языке. На данный момент разбираются упоминания персон, даты и суммы денег.
  
• Yargy is a Earley parser, that uses russian morphology for facts extraction process, and written in pure python
  
• razdel — библиотека для разделения русскоязычного текста на токены и предложения. Система построена на правилах.
  

В догонку
https://github.com/yandex/tomita-parser

SyntaxNet (ссылка на Хабр) — это основанная на TensorFlow библиотека определения синтаксических связей, использует нейронную сеть. В настоящий момент поддерживается 40 языков, в том числе и Русский.

UPD (17.03.2020):

• Az.js A NLP library for Russian language
  
• isanlp Natural language processing tools for English and Russian (postagging, syntax parsing, SRL, NER, language detection etc.)
  
• russiannames Russian names parsers, gender identification and processing tools
  
• rulemma Лемматизатор для русскоязычных текстов
  

Comments

[h8nor]

Что-нибудь из предложенного отличит "подарил" от "крокодил", или везде работа со словарём?

[deepblack]

Дѣаволъ, SyntaxNet отличит, используется корпус текстов

[Urukhayy]

Дѣаволъ, В Яндекс-Томите есть возможность задавать свои структуры слов, которые нужно найти из текста/строки. К примеру:

Глагол совершённого вида + любое существительное в винительном падеже

Томита позволяет задать "мощный" поисковой шаблон (используя свой синтаксис), и будут извлечены все сущности в тексте, подпадающие под эти правила. Таким образом Томита является большим расширением регулярных выражений, способное находить по специфическим фильтрам русского языка. Также можно указать на жёсткую связь двух слов в роде, числе и падеже.

Но остальная работа по анализу текста и нахождению логических связей скорее всего ляжет на плечи программистов.

Answer 2

[d'Ivan]

https://habr.com/en/company/yandex/blog/219311/

Answer 3

[Stalker_RED]

Похоже вы ищите так называемый "фактограф", в английской терминологии "Information Extraction".

На русском насколько я понимаю есть либо коммерческие системы, либо довольно сырые студенческие поделки. Если найдете opensource проект понимающий русский - будет круто.

Answer 4

[McBernar]

Фейсбук раздавал бесплатно вектора для многих языков.
Но для экстракции фактов это не подойдет — только для сравнения и кластеризации.

Answer 5

[Developer]

В открытом доступе таких вещей нет.