Как искать однокоренные слов в русских текстах?

Здравствуйте

не получается найти опитимальное решение для поиска однокоренных слов в текстах на русском языке

что пробовал
-алгоритмы стеммирования (библиотеки wamania и ladamalina)
-эти стеммеры на базе алгоритма Поттера не умеют убирать приставки и вообще криво работают

- пытался использовать api wikimedia, но это долго работает и к тому же там есть не все слова (хотя wictionary и знает где корень в слове, он не знает многих слов)

Найти пригодной версии словаря Тихонова (или другого с морфемами) не получилось

Может быть кто то встречался с такой проблемой?

спасибо за ответы
  • Вопрос задан
  • 1489 просмотров
Пригласить эксперта
Ответы на вопрос 3
LaRN
@LaRN
Senior Developer
Это сложная задача, решение которой еще и от контекста в котором употребляется слово зависит.
Посмотрите вот эту ссылку для примера:
https://ru.wikipedia.org/wiki/%D0%9E%D0%BC%D0%BE%D...
Ответ написан
Комментировать
@dsadso
Сейчас я пишу диплом по компьютерной лингвистике, а именно по разбиению слов по составу.
Я пришел к выводу, что никак. Вы никак не найдете однокоренные слова со 100% точностью. В этом может помочь только словарь с уже заготовленными однокоренными словами.
Вы можете пробовать выделять корни в словах:
1) По словарю с разбиением на корни (я нашел только 1, да и то в нем не указаны где какие морфемы www.speakrus.ru/dict/ UPD: это тот же словарь Тихонова, о котором вы писали).
2) По правилам, составление которых - это титанический труд.
Допустим, вы нашли корни в словах "красивый" и "красить". Это "крас". Однокореные ли это слова? Думаю, нет. Потому важен еще и смысл слов. Вы можете лишь представить несколько возможных вариантов, но со 100% точностью разобрать текст по однокоренным словам вы не сможете без словаря с перечисленными человеком однокоренными словами. Где его достать - я не знаю. Пожалуйста, отпишитесь если чего откопаете.
Ответ написан
Комментировать
@Tibor128
копайте в сторону морфологического разбора.
так и гуглите.
существуют готовые инструменты и наборы правил для них.
удачи ;)
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы