Как реализовать поиск слов в файлах?

Question

[Ever_Firs]

Реализован сайт с конвертером из md формата в html, сайт - это сборник лекций разделенных по темам, и потребовалось добавить функцию поиска лекций по слову находящемуся в нем, но к сожалению я не могу найти какую то более менее точную информацию о реализации таких алгоритмов и их работы, пожалуйста посоветуйте сайты/видео/документацию/лекции которые помогут мне в этом, backend пишется на фреймворке FastAPI

Comments

[Viktor T2]

Xapian Omega
https://xapian-org.translate.goog/docs/omega/overv...
https://rus-linux.net/lib.php?name=/MyLDP/server/x...

[say_TT_plz]

я бы еще в сторону sphinx глянул

[Василий Банников]

ну и еще solr
https://solr.apache.org/

и еще возможно в используемой субд уже есть полнотекстовые индексы. Например https://postgrespro.ru/docs/postgresql/15/textsearch

Если хочется навелосипедить, то тогда:
1. Вытаскиваешь из лекций, в каком бы формате они ни были, весь текст (без пунктуации и разметки)
2. Применяешь к нему какой-нибудь алгоритм поиска (лучше загуглить, так как их есть много разных)
3. Запускать поиск с нуля каждый раз будет расточительно, так что тебе нужно будет предобработать тексты и сохранить индекс, с которого удобно будет начать поиск.

Если искать по точному вхождению одного слова, то можно построить префиксное дерево и в конечных узлах расположить список из всех статей, которые это слово содержат.

С таким индексом не трудно будет добавить поиск по списку слов (тексты, которые содержат все слова из списка или хотябы одно слово из списка)

4. Надо бы как-то этот индекс сохранить на диск, чтобы потом его быстро считывать

5. а при добавлнении новых статей/лекций/документов обновлять его, не перечитывая все тексты.

[Михаил Ливач]

say_TT_plz, статья по вашей ссылке - мусор. Лучше бы дали ссылку на официальный сайт проекта, там и обучающие материалы есть ( хотя и не очень качественные)

[say_TT_plz]

Михаил Ливач, если уж речь зашла про "мусор", то статья была обзорной, чтобы человек мог по-быстрому понять нужно ему это или нет.
Ну и там было упоминание про manticore, активно развивающийся форк. Да и сам sphinx ушел из opensource и потихоньку отживает свой век в legacy проектах.
PS https://sphinxsearch.com/ у меня не открывается

[Михаил Ливач]

say_TT_plz, вот только такие "обзорные статьи" пишут люди, которые никогда с продуктом не работали и не собираются работать; статью писал копирайтер, а не разработчик. Я вот только что спросил ИИ, и он мне выдал обзор на голову выше, чем та статья. Даже какой-то пример конфига и кода втиснул.

P.S. кто-то, видимо, блокирует доступ к сайту. У меня открылось без проблем

Answer 1

[VoidVolker]

Если вам нужен поиск по сайту, то просто добавьте на сайт форму для поиска по сайту от любого поисковика. Например:

<form method="get" id="search" action="http://duckduckgo.com/" target="_blank">
    <input type="hidden" name="sites"value="example.ru"/>
    <input type="text" name="q" maxlength="255" placeholder="Поиск по сайту" style="width:96%"/>
    <input type="submit" value="Начать поиск" />
</form>

А если надо именно по каким-то файлам на диске, то берёте в руки карандаш, бумажку или любой инструмент для рисования диаграмм и описываете алгоритм поиска. Затем делаете декомпозицию и максимальную детализацию до самых простых действий. Ну и далее просто его реализовываете. Если нужен поиск именно по загружаемым на сайт текстам, то имеет смысл грузить эти тексты в БД, а не файлы и делать поиск через стандартные средства в самой БД.

Answer 2

[Telcontar]

По всей видимости вам нужно начать с изучения основ, так как поиск подстроки - элементарная задача.

Примерный алгоритм:
1. Берем файл
2. Очищаем от разметки
3. Производим поиск стандартными средствами python

Для промышленных масштабов - библиотека Whoosh (индексация и проч)
Если у вас текст вдруг SQLite, то у него есть свои средства поиска.

Answer 3

[d'Ivan]

добавить функцию поиска лекций по слову

используй встроенный полнотекстовый движок (FTS) - имеется в SQLite, Postgres, Algolia, Meilisearch, Sphinx Search, ElasticSearch и других.
В каждом решении есть свой подход/синтаксис для хранения и поиска. Движок хранит компактный FTS индекс, по которому находит документы при запросе.