Как настроить стемминг в Sphinx?

Question

[andrei2019]

Я использую Sphinx 3.0.3. Cоздал простой тестовый файл:
Белая корова. Белыми коровами. Белой коровой.
Вопрос такой: Почему Sphinx находит эти фразы по слову "корове" (отсутствующему в тексте), но не по словам "коровка" или "коровушка"? Получается, что используется не стемминг (обрезание до коров), а словарь, в котором нет коровок и коровушек?
Конфиг пока такой:

morphology = stem_enru
min_word_len = 2
index_exact_words = 1
expand_keywords = 1
min_infix_len = 3
min_prefix_len = 3
#enable_star = 1 #removed
#min_word_len = 1  #removed
#dict = keywords #removed

Можно ли настроить конфиг, чтобы выдавались эти фразы по словам "коровка" или "коровушка"?
Мне конкретно коровушки сейчас не нужны, я просто хочу понять, как настраивать или знать ограничения.

Comments

[Dimonchik]

продал художник свой кров (с)

Answer 1

[Пума Тайланд]

Стемминг обрезает окончания, вам надо пройти другим путем, найдите на Хабре в моем профиле статью про сфинкс там рассказывается вариант для вашего случая как раз

Comments

[xmoonlight]

Пума Тайланд, А вот нашёл: https://habr.com/post/147745/ (но можно было бы и линк сразу дать...)

[andrei2019]

У меня версия 3.0.3, а разъясняемые в Вашей статье от 2012г.:
min_word_len - removed,
enable_star - removed.
Возможно и другие ремувед и что-то новое введено.
Статья хорошо написана, но пора ее обновить.
Обновил пост, жду помощи!

[Пума Тайланд]

andrei2019, енабл стар вам не нужен , он по моему нынче автоматом включен всегда.
мин ворд лен вам вроде тоже как не нужен
перечитайте статью

Answer 2

[xmoonlight]

Здесь мой готовый алгоритм (на PHP) по нечёткому поиску цепочек слов с произвольным началом и окончанием слов, включая автоматическое исправление похожего начертания символов на нужный язык.

Что ищем: протектор зимней шины
Где ищем: Одним из основных элементов реnpoтeктушкатоpатора зимних шин являются ламели.

Результат: Найдено с 5-го слова: [реnpoтeктушкатоpатора]

PS: Кстати, вот ещё похожее на Сфинкс: stumper.ru (видимо недавно сделали)

Вариант 2: Вырезаете все суффиксы из поискового запроса через regex и проблема решена:

-щик, -льщик
-анин, -янин
-ница, -тель
-льник
-ница
-ость, -есть
-ота, -ета
-ецо, -ице
-изна
-ство
-отня, -овня
-ство, -ество
-ина, -инка
-ёнок, -онок
-очка, -ечка, -ичка
-енька, -онька
-ушка, -юшка
-ышко
-ишко, -ишка
-ёнка, -онка
-инка, -енка
-ище, -ища
-ушк-, -юшк-, -ышк-
-ёнка, -онка, -ёнок, -онок, -юнок, -унок
-енька, -онька, -анька

Comments

[andrei2019]

понял, спасибо, попробую.

[andrei2019]

суффиксов гораздо больше, ведь есть и другие части речи... и не все основы получаются простым обрезанием.

[xmoonlight]

andrei2019,
1. Суффиксы не связаны никак с частями речи))
2. Не все основы получаются, да... но именно суффиксы удлиняют слова на половину или более. и после обрезания, вероятность верного поиска возрастает более, чем в 2 раза.

[andrei2019]

xmoonlight, Мне что сделать то? Коровки и коровушки потерялись... (Реально потерялись другие слова конечно. Срочно ищу решения.)

Про суффиксы и части речи я имел в виду, что Вы привели пример таблицы суффиксов для существительных, например "зайчонок", а есть ведь и наречия "потихоньку" и глаголы и определения... так что же мне тысячу окончаний исследовать?

И почему все таки по "корове" находит а по "коровка" нет? Cловарь значит в Сфинксе используется а не обрезание?

[xmoonlight]

andrei2019, нет. Вы всё не так поняли...
1. Со словаря начну: в Сфинксе скорее всего используется расстояние триграмм. Чем длиннее несовпадение, тем быстрее падает процент совпадения.
2. Про суффиксы и части речи:

а есть ведь и наречия "потихоньку"

-оньк суффикс есть в моём ответе. Реально - полный перечень их совсем небольшой и их не много. Просто меняется 1-2 буквы: о/ё, е/и, и 2-3 пары согласных (надо смотреть подробно уже).

Алгоритм:
Отрезаем всю правую часть слова начиная с суффикса, предварительно проверив, что у нас остаётся не менее 3-х букв в слове и есть хотя бы одна гласная: проверка на присутствие 1 слога в слове (после "отсечения хвоста").

Здесь мой готовый алгоритм (на PHP) по нечёткому поиску цепочек слов с произвольным началом и окончанием.

[andrei2019]

Вы меня реnpoтeктушкатоpатором не пугайте :-) . Суффикс "оньк" я у Вас посмотрел два раза и написал потому-что очень много возни (сочетаний). Меня мама не для этого родила. Я взял готовый Сфинкс и спрашиваю почему он работает как бы по словарю, хотя если стемминг отрезает суффиксы от слова "коров", то должен находить коровушек.

Поэтому у меня вопрос: Что я неправильно делаю? Как нужно настраивать сфинкс?

За исходник спасибо, посмотрю.

[xmoonlight]

andrei2019, Я Сфинкс не писал и почему он так делает - сказать не могу. Я лишь предложил варианты решения Вашей проблемы. :)

[andrei2019]

Возможно для программистов Ваши советы хороши, но я не программист. Я взял готовый продукт и ищу совета как его настроить.

[xmoonlight]

andrei2019, Возможно, что Сфинкс не имеет никакой документации (как готовый продукт) или он тоже для программистов?

[andrei2019]

xmoonlight, На сайте дока только на 2.2 , Дока

В комплекте есть дока с описанием изменений типа:

Version 3.0.3, 30
improved min_infix_len behavior, internally required minimum of 2 is now enforced.

Подробнее пока не смотрел, но придется.

[xmoonlight]

andrei2019, Согласен: хотите пользоваться готовым продуктом (без "допиливания" своими силами) - только официальная инструкция/документация.

[xmoonlight]

andrei2019, Кстати, вот ещё похожее на Сфинкс: stumper.ru (видимо недавно сделали)

[andrei2019]

увы, у меня только сфинкс должен быть.