Как работает BM25 ранкер в sphinx?

Question

[Вячеслав Шевченко]

Есть три документа с полем title: диван синий, диван красный, диван зеленый. Делаем поиск по слову "диван".

SELECT item, weight() AS rank FROM test WHERE match('@(title) диван') ORDER BY rank DESC OPTION ranker = BM25;

Получаем результат со всем тремя документами и весом 1319. Откуда именно 1319? Может кто-нибудь расписать в цифрах как получилось именно 1319?

https://habr.com/ru/company/sphinx/blog/62287/ - тут написано что bm25 - это вещественное число в диапазоне от 0 до 1. Опять же откуда тогда 1319?

Answer 1

[ManticoreSearch]

1. Значение веса найденного документа умножается на 1000 и округляется (0.319*, например, становится 319)
2. `ranker = BM25` учитывает и вес полей на самом деле. По умолчанию у каждого поля он 1, но тоже умножается на 1000.
3. Оба числа суммируются, получается: 1000*1 + 0.319*1000 = 1319

Comments

[ManticoreSearch]

Если интересно углубиться теорию - вот неплохая статья по TF-IDF в примерах https://manticoresearch.com/2019/04/23/tf-idf-%D0%... , а тут читшит по bm25 manticoresearch.com/bm25

+ в sphinx / manticore есть PACKEDFACTORS(), которая полезна для того, чтоб понять откуда у того или иного веса ноги растут.

[Вячеслав Шевченко]

Подскажите пожалуйста что еще влияет на ранк? Есть два документа в индексе содержание у них одинаковое. В запросе одно слово. PACKEDFACTORS() показывает абсолютно все параметры одинаковые у обоих документов, но ранк различается.

[ManticoreSearch]

Вячеслав Шевченко, какие тексты документов и какой именно запрос?

[Вячеслав Шевченко]

текст такой:

диван Нота это графическое обозначение звука музыкального произведения, один из основных символов современной музыкальной нотации

Запрос: "диван"

[Вячеслав Шевченко]

[ManticoreSearch]

Вячеслав Шевченко, а второй документ?

[Вячеслав Шевченко]

ManticoreSearch, точно такой же.

[Вячеслав Шевченко]

ManticoreSearch, всё, разобрался что влияет на ранжирование. У меня есть поле field1 и field2 в которых также есть упоминание "диван". Несмотря на то, что запрос происходит только по полю title
match('@(title) диван') значения в этих полях также влияют на ранк.

[Вячеслав Шевченко]

Как теперь сделать ранжирование только по title?

[Вячеслав Шевченко]

Интересно еще то, что если я ищу по одному полю то, ранк документов, в полях не участвующих в поиске имеющих вхождения отличается не сильно от тех документов в полях которых нет.
Например ищем только по title, но в полу field1 есть вхождение, то ранк будет немного выше (в моём примере выше на 9 единиц).

Если я добавляю в запрос еще и поле в котором есть вхождения то ранк сразу растёт на 1000, что логично.

[ManticoreSearch]

Попробуйте `ranker=expr('bm25a(1.2,0.5)*1000')` вместо bm25

Answer 2

[Пума Тайланд]

читайте доку там довольно подробно все расписано и можно сходу понять откуда больше 1000 значения
sphinxsearch.com/docs/current/formulas-for-builtin...