Есть ли в открытом доступе инструменты компьютерной лингвистики с целью анализа предложений русского языка?

Есть ли в открытом доступе (на любом ЯП) инструменты, которые способны анализировать и преобразовывать предложения русского языка, в различных сложных формах, в какую-то модель или в какой-то упорядоченный алгоритм? К примеру, программы-переводчики каким-то образом анализируют предложения и различают смысл оборотов.

Желательно чтобы было определение действий сущностей, к примеру:

"Человек подарил 50 коробок с конфетами своей подруге в бане на даче".

Алгоритм должен определить, что:
- Подруга находилась в момент подарка в бане, а баня находится на даче (Объект баня это поле объекта дача)
- В коробках конфеты (Коробки это массив)
  • Вопрос задан
  • 1303 просмотра
Решения вопроса 2
Andrew_Pinkerton
@Andrew_Pinkerton
Backend-разработчик
Готового решения нет, но возможно вас заинтересуют следующие проекты:

  • Dostoevsky - Sentiment analysis library for russian language

  • Natasha - библиотека для поиска и извлечения именованных сущностей (Named-entity recognition) из текстов на русском языке. На данный момент разбираются упоминания персон, даты и суммы денег.
  • Yargy is a Earley parser, that uses russian morphology for facts extraction process, and written in pure python
  • razdel — библиотека для разделения русскоязычного текста на токены и предложения. Система построена на правилах.


В догонку
https://github.com/yandex/tomita-parser

SyntaxNet (ссылка на Хабр) — это основанная на TensorFlow библиотека определения синтаксических связей, использует нейронную сеть. В настоящий момент поддерживается 40 языков, в том числе и Русский.

UPD (17.03.2020):
  • Az.js A NLP library for Russian language
  • isanlp Natural language processing tools for English and Russian (postagging, syntax parsing, SRL, NER, language detection etc.)
  • russiannames Russian names parsers, gender identification and processing tools
  • rulemma Лемматизатор для русскоязычных текстов
Ответ написан
Пригласить эксперта
Ответы на вопрос 3
Stalker_RED
@Stalker_RED
Похоже вы ищите так называемый "фактограф", в английской терминологии "Information Extraction".

На русском насколько я понимаю есть либо коммерческие системы, либо довольно сырые студенческие поделки. Если найдете opensource проект понимающий русский - будет круто.
Ответ написан
@McBernar
Фейсбук раздавал бесплатно вектора для многих языков.
Но для экстракции фактов это не подойдет — только для сравнения и кластеризации.
Ответ написан
samodum
@samodum
Какой вопрос - такой и ответ
В открытом доступе таких вещей нет.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы