Как реализовать поиск в sqlite на python?

Question

[k_f_i]

Всем привет, делаю бота в Telegram. Подскажите как реализовать поисковой движок по бд SQLite. Python только начал изучать, поэтому только такое смог придумать

async def sql_search(message):
search_query = message.text
await bot.send_message(message.from_user.id, search_query)
for ret in cur.execute('SELECT description, guide FROM guides WHERE keys LIKE ?', ('%'+search_query+'%',)).fetchall():
await bot.send_message(message.from_user.id, f'{ret[0]}\nРецепт:\n{ret[1]}')

К каждой статье прописал ключи. Например: сделать приготовить яичницу с овощами и колбаской яичница с колбасой
Как вы понимаете возник следующий эффект. При вводе 'приготовить' выдает все статьи с данным ключом. 'яичницу с овощами' ищет, но 'яичница с овощами' уже нет.

Пришлите, пожалуйста, статьи или гайды где можно было бы изучить данный вопрос. И вообще правильно ли я подошел к делу

Comments

[Алан Гибизов]

Начните с изучения Правил.
Особенно п.п. 3.1, 3.8 и 5.12

[Totem]

Алан Гибизов, да, но кроме пункта 5.12

Answer 1

[galaxy]

LIKE ищет по точному сопадению части строки, т.е. '%яичница с овощами%' найдет только строки, содержащие подстроку 'яичница с овощами' дословно и добуквенно.
Вы, судя по всему, хотите какой-то вариант полнотекстового поиска. В sqlite есть довольно интересный встроенный, попробуйте разобраться и настроить под свои нужды.

Если такой вариант не подойдет, то можно на коленке сделать что-то свое:
1. разбить теги на отдельные слова (и поместить их в отдельную таблицу keywords, связанную с тегами)
2. отфильтровать ненужные слова типа "приготовить"
3. нормализовать слова - тут понадобится стеммер или словарь (думаю, можно найти библиотеку для питона, правда насчет поддержки русского языка не уверен)
4. запрос также пропускать через шаги 1-3
5. дальше искать как-то так:

SELECT tag_id, count(*)
  FROM keywords
 WHERE word IN ('query_word1', 'query_word2' ...)
 GROUP BY tag_id HAVING count(*) = <number of words in query>

Comments

[k_f_i]

Немного разобрался в FTS5, достаточно крутая штука. Будем тестить :)

Answer 2

[Vindicar]

Это называется "нечеткий поиск", и это непростая тема. Как говорится в одном анекдоте, "длина, ширина, высота и глубина - это совсем не то же, что длинка, ширинка, высотка и глубинка".

Comments

[k_f_i]

Я теперь хоть знаю, как это называется :) Библиотека FuzzyWuzzy подойдет для решение задачи? Хотя хотелось бы конечно самому пострадать и понять как это написать

[Vindicar]

k_f_i, вот подробнее подсказать не могу, не занимался таким. Можешь ещё поискать термин стемминг - это отсечение окончаний у слов, чтобы "яичница" и "яичницы" хотя бы считало одним словом.

[k_f_i]

Ну допустим есть три ключевых слова в каждой записи по которым можно осуществлять поиск.
Приготовить вкусную яичницу.
Приготовить мясную лазанью.
У меня код работает следующим образом. Если ввести 'приготовить', он выводит обе записи, хотелось бы чтоб он вообще игнорировал такие обращения. Если ввести 'приготовить вкусную' он выведет нужную запись, но я так понимаю, это потому что слова в таблице идут подряд. Но если ввести Приготовить яичницу, он уже ничего не выведет. По суди надо, чтоб код мог комбинировать ключевые слова в разной последовательности

[Vindicar]

k_f_i,
0. Определяешь список слов-тегов для каждой записи. Подвергаешь слова стеммингу и, возможно, добавляешь синонимы.
1. Строишь частотный список тегов. Теги, которые встречаются более чем в N% записей, вносишь в игнор лист. N определяешь эмпирически.
2. Разбиваешь запрос на слова, подвергаешь слова стеммингу. Получаешь список тегов запроса.
3. Для каждой записи считаешь её вес как сумму весов тегов, общих для записи и для запроса. Формула расчёта веса тега - твоя собственная. В простейшем случае все теги имеют вес 1, но можно и усложнить:
- учитывать частоту тега - редкие теги имеют больший вес
- учитывать позицию тега в запросе - теги ближе к началу имеют больший вес.
4. Выводишь записи в порядке убывания веса.

[k_f_i]

То есть по сути мне надо извлечь ключевые слова из базы, создать из этого список. Создать список из запроса пользователя, пробежаться циклом и если элемент списка ключей будет равен элементу списка запросов, увеличить счетчик веса, чтоб ускорить код сделать условие если счетчик больше 10 например, завершить цикл и вывести запись.

[Vindicar]

k_f_i, ну можно и так, но я бы не цикл делал. Лучше функцию агрегации типа SUM().
Тогда у тебя будет таблица с постами и таблица с весом (обратной частотностью) поисковых слов.
Делаешь JOIN постов с частотностью, отсеиваешь те слова, которые есть в запросе, потом GROUP BY по ID поста, и вычисляешь сумму значений по группе. По этому сумме уже сортируешь.

Answer 3

[Totem]

Следует использовать нейронную сеть.
Ее конечно надо натренировать (вряд ли есть готовые решения в сети "Интернет"), но можно обратиться и на фриланс и куда хочешь, хоть на YouTube по видеороликам.