Чем можно протестировать работу поискового движка на корректность выдаваемых им результатов?

Question

[xmoonlight]

Приветствую.

Подскажите, с помощью чего лучше всего можно протестировать поиск на корректность выдачи результатов?

Почему возник вопрос?
Всегда найдётся кто-то из пользователей, кто точно выловит очередной баг и это не совсем устраивает. Хотелось бы все недочёты устранить заранее по-максимуму своими силами.

Есть ли чек-листы, тест-кейсы или алгоритмы последовательности действий, которыми можно оттестировать корректность выдачи поисковых результатов и работу поискового алгоритма в целом, чтобы быть уверенным в корректности логики его работы?

Нужно чётко уловить грань между:
"здесь должен был найти, но не нашёл - это баг"
и
"здесь странный результат, хотя, действительно: как он мог догадаться, что речь в запросе именно об этом? - это не баг"
(может есть готовые инструменты?....)

Тестировать нужно здесь.

Заранее, Спасибо.

Comments

[sim3x]

Какой обьем данных?

Откуда кто-то может знать, что там должно быть или не быть?

[xmoonlight]

sim3x: Причём тут объём данных?!
Откуда: если люди этим занимались, то обычно у них остаются методики и знания для такой проверки.

[sim3x]

xmoonlight:
если поиск идет по обьему в 1кб, то его можно просмотреть глазами
1-100Мб - скриптом
1Гб+ - статистикой
1Тб - уже непонятно как оперативно смотреть

Методика одна - сравнивать текущий результат с предыдущими и искать аномалии

[xmoonlight]

sim3x: я вот искал 100 способами эти аномалии, а как только просишь потестить людей - сразу добавляется ещё 500 новых)

[sim3x]

xmoonlight:
ето не противоречит тому что я сказал

[xmoonlight]

sim3x: а я этого и не утверждал)

Answer 1

[Александр]

Тестировал свой писк по этому чек-листу https://multisearch.io/files/multisearch_checklist.pdf

Comments

[xmoonlight]

О! То, что нужно! Спасибо!

[ibarchenkov]

Вот ее довольно интересный матариал
https://searchbooster.io/ru/blog/checklist_for_an_...

Answer 2

[Dimonchik]

задача не тривиальная, в книжках вообще прямо говорят что поиск потчи всегда субьективен
поэтому - берете субьективный фактор и строите под него алгоритм

самое простое , что используем мы: тот же запрос на конкуренте и сравнение плотностей
еще проще - сравнение плотности сниппетов с запросом, но тогда страдают синонимы и query-specific words

ну а бальщина "старый поиск - юзер Н минут на сайте, а новый - К минут" - думаю, любой маркетолог вам скажет

Comments

[xmoonlight]

dimonchik2013:

самое простое , что используем мы: тот же запрос на конкуренте и сравнение плотностей

- можно пояснить? Просто, речь идёт про поисковый сервис. А тут вроде как не про это... Или я ошибаюсь?

[Dimonchik]

ну у конкурентов такой же сервис ))

парсите - сравниваете

по набору запросов конечно, набор большой, 100к+

Answer 3

[Alexej Simakov]

зависит от требований которые закладывались в систему поиска.
- толерантность к опечаткам - подмена символа или нескольких в строке
- одинаковый ответ при одинаковом запросе.
- реакция на длинный запрос (пытается ли она найти пересечения)
- взять два ключевых слова в одной и обратной последовательности (я ввожу "sony apple" и "apple sony" но система выводит только продукты apple, наверно так не должно быть)
- порог соответствия, что результаты ниже определенного требованиями порога не выводятся. (пишу "пленка" выводятся только 10-15 результатов и далеко не все продукты содержащие слово "пленка" - наверное так не должно быть)
- как реагирует алгоритм если в базе очень мало записей? А если очень много записей с очень высокой схожестью?

Чем тестировать ? У вас есть api, берите jmeter шлите через аpi запросы и проверяйте ответы.
Или не jmeter a другой интрумент для тестирования web api. в конце концов pycurl или python + curl вариантов достаточно. Первоочередная сложность не в инструменте а в определении требований к системе поиска.

А вообще юниттестами можно и нужно тестировать сам алгоритм выдачи, алгоритм анализа звукосочетаний и прочие содержащиеся в системе алгоритмы.

Или возьмите студента-тестировщика он вам быстрее найдет все серьезные недочеты если вам критичен скорый выход на рынок. А автоматизацию подтянете по ходу дела.