Алгоритмы поиска?

Question

[KuzmenkoArtem]

Какие есть алгоритмы поиска русского текста.
То есть если в базе есть слово Машины или Машинка
по запросу Машина они находились?
И если будет еще англоязычный поиск или смешаный как будет работать?
На ведите пожалуйста где об этом почитать

Answer 1

[abcyu]

Решение озвученной вами проблемы имеет специальное название "стемминг"
https://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B5%D...

Второй неназванный вами термин "полнотекстовый поиск".
Искать в интернете этим фразам: "полнотекстовый поиск" и "стемминг".

Нет, англоязычные системы не подходят для русского языка.
Под каждый язык стемминг свой.

Да, существует ПО стемминга и для русского языка.
Как ни странно, один из наиболее распространненных из хороших алгоритмов стемминга для русского языка создан иностранцем.

Например, есть система СУБД для полнотекстового поиска SphinxSearch, созданная нашими.

Несмотря на то, что авторы этой системы делают основные деньги на западных рынках, статей на русском языке, связанных с этой системой, где рассказывается и про стемминг и про полнотекстовый поиск, много.

Сам SphinxSearch содержит стемминг для русского языка сразу из коробки, в отличие от многих других подобных же систем.
sphinxsearch.com

Не обязательно использовать отдельную систему для полнотекстового поиска (как тот же SphinxSearch). Есть и подобный функционал и в современных обычных СУБД. Хотя специализированная СУБД (каковой является SphinxSearch), разумеется, обычно эффективнее.

Есть и отдельные библиотеки, на базе которых вы можете создать свой полнотекстовый поиск с русским стеммингом.

Поскольку стемминг реализуется довольно небольшим куском кода, то в системы полнотекстового поиска, которые разработали не наши, стемминг для русского языка может быть легко включен, или, даже, это уже сделано.

Answer 2

[Сергей Протько]

гуглить "поиск с учетом морфологии".

Алгоритм обычно примитивен. Берем слово, генерим из него производные слова и делаем поиск по ним. Генерят обычно так же тупо - по словарю.