Как находить исходное однокоренное слово без суффикса?

Question

[Вадим]

Например, для слова "облачко" это будет "облако", для "собачка" - "собака" (интересуют только имена существительные)

Т.е. это не поиск словоформ, а поиск исходных однокоренных слов. В идеале хорошо бы найти бы готовую библиотеку на php, но даже не надеюсь на это. Но, возможно, есть какие-то четкие алгоритмы, которые дают нужный результат?

Answer 1

[mayton2019]

Насчет корней не знаю. Есть алгоритм Snowball https://snowballstem.org/demo.html#Russian
Он делает примерно то что нужно. Например сводит облако-облак. Сводит разные слова к основе.
А то что не смог свести ты можешь попробовать сам дописать в справочник или добавить свои суффиксы.

И у него есть несколько готовых реализаций на C#/Java. Я думаю что кто-то уже делал реализацию для PHP.

Comments

[Вадим]

Увы, не то. Это стемминг - отсечение окончания от слова, такое я знаю и умею. Тут из "облако" получим "облак", а из "облачко" - "облачк", т.е. программно я не пойму, что это однокоренные слова, и что для слова "облачко" исходным является "облако"

[mayton2019]

Вадим, да это стемминг это компромисс между справочником и кодом.
Если найдешь другой метод лучше - поделись.

[mayton2019]

Dr. Bacon, мда. Интересно. Я гляну из чего состоит Сфинкс изнутри.

[Вадим]

Dr. Bacon Вы путаете морфологический разбор со словообразовательным. Словари по ссылкам - это приведение слова к его инфинитиву, т.е. если я задам "облачком", то с учетом морфологии получу "облачко", но не получу "облако". Или, например, "дом", "домик", "домишко", "домище" - это в таких словарях разные слова, а мне надо, чтоб все они были приведены к слову "дом" - именно это слово является для них исходным

[Вадим]

mayton2019 если нужно для полнотекстового поиска, то, во-первых, есть библиотеки по стеммизации на разных платформах. Но по моему опыту - не лучший вариант, не знаю, как в других языках, но в русском нередко разные слова дают одинаковые стеммы, поэтому лучше использовать леммизацию. Или готовые движки, как выше советуют. Только я бы не Sphinx советовал, а https://manticoresearch.com/

[mayton2019]

Вадим, ОК спасибо.

[mayton2019]

Dr. Bacon, а чем можно просмотреть этот ресурс (pak) sphinxsearch.com/downloads/dicts в каком-то текстовом представлении?

[mayton2019]

Dr. Bacon, а я понял. Латинска буква через слеш - это возможные окончания.

Абакан/J
Абеба/H
Абиджан/J
Абиссиния/H

и справочник суффиксов окончаний

SFX J Y 23
SFX J 0 а [^ейоь]
SFX J 0 у [^ейоь]

Еще осталось угадать что за число стоит.