Какие существуют сервисы и библиотеки для обработки естественного русского языка?

Question

[hbrmdc]

Ищу библиотеки или сервисы, которые могут помочь с natural language processing для русского языка. Вот что конкретно интересует:

1. Переводить слова в начальную форму: "Они строили" => "они", "строить"
2. Распознавать словосочетания: "Они строили железную дорогу" => "они", "строить", "железная дорога"
3. Связывать частицу "не" с глаголом, к которому она относится: "Они не строили железную дорогу" => "они" "не строить", "железная дорога"
4. Интерпретировать идиомы и фигуры речи: "ну и погодка" => "плохая погода"

Посоветуете что-нибудь? Библиотеки, сервисы, источники инфы по теме - все что угодно

Answer 1

[Сергей]

https://tech.yandex.ru/mystem/
https://tech.yandex.ru/tomita/

Comments

[h8nor]

Походу, проекты ушли в коммерцию :)

[Сергей]

Что вы имеете ввиду ?

Answer 2

[longclaps]

pymorphy2

Comments

[Антон Тихомиров]

Офигенно! Жалко только что не на самом популярном языке написана. Хоть это и обвертка для OpenCorpora, но все же.

[Виктор]

Антон Тихомиров, есть ещё phpmorphy

[Антон Тихомиров]

Оооо, даже на PHP! Отлично, благодарствую!

Answer 3

[Ambrosian]

Для первых двух ваших задач хватит банального стемминга
snowball.tartarus.org/algorithms/russian/stemmer.html

Comments

[hbrmdc]

не пойму, как это поможет со второй задачей

[h8nor]

hbrmdc, для русского языка в ответах 2 года назад ссылку давал. Отрицание нужно дописать.

[nrgian]

hbrmdc,

не пойму, как это поможет со второй задачей

А вы подумайте.
За вас даже разжевали и в рот положили.

Нужно только проглотить.

Answer 4

[Everything_is_not_so_bad]

AOT (Автоматическая Обработка Текста)

Answer 5

[Dimonchik]

https://ailev.livejournal.com/1006416.html