Как искать однокоренные слов в русских текстах?

Question

[letitbeniubi]

Здравствуйте

не получается найти опитимальное решение для поиска однокоренных слов в текстах на русском языке

что пробовал
-алгоритмы стеммирования (библиотеки wamania и ladamalina)
-эти стеммеры на базе алгоритма Поттера не умеют убирать приставки и вообще криво работают

- пытался использовать api wikimedia, но это долго работает и к тому же там есть не все слова (хотя wictionary и знает где корень в слове, он не знает многих слов)

Найти пригодной версии словаря Тихонова (или другого с морфемами) не получилось

Может быть кто то встречался с такой проблемой?

спасибо за ответы

Comments

[Lynn «Кофеман»]

https://rus.stackexchange.com/q/9427 Удачи

Answer 1

[Руслан .]

Это сложная задача, решение которой еще и от контекста в котором употребляется слово зависит.
Посмотрите вот эту ссылку для примера:
https://ru.wikipedia.org/wiki/%D0%9E%D0%BC%D0%BE%D...

Answer 2

[dsadso]

Сейчас я пишу диплом по компьютерной лингвистике, а именно по разбиению слов по составу.
Я пришел к выводу, что никак. Вы никак не найдете однокоренные слова со 100% точностью. В этом может помочь только словарь с уже заготовленными однокоренными словами.
Вы можете пробовать выделять корни в словах:
1) По словарю с разбиением на корни (я нашел только 1, да и то в нем не указаны где какие морфемы www.speakrus.ru/dict/ UPD: это тот же словарь Тихонова, о котором вы писали).
2) По правилам, составление которых - это титанический труд.
Допустим, вы нашли корни в словах "красивый" и "красить". Это "крас". Однокореные ли это слова? Думаю, нет. Потому важен еще и смысл слов. Вы можете лишь представить несколько возможных вариантов, но со 100% точностью разобрать текст по однокоренным словам вы не сможете без словаря с перечисленными человеком однокоренными словами. Где его достать - я не знаю. Пожалуйста, отпишитесь если чего откопаете.

Answer 3

[Tibor128]

копайте в сторону морфологического разбора.
так и гуглите.
существуют готовые инструменты и наборы правил для них.
удачи ;)