Как работает full text search в postgresql, почему не выбирает НЕполное вхождение?

Question

[Andy Developer]

Есть два запроса:

SELECT city, country, title, tagline, description, tags, ts_rank_cd(fts, query) AS rank
FROM trips, plainto_tsquery('ru','гауди') query
WHERE query @@ fts
ORDER BY rank DESC
LIMIT 100;

Результат 30 строк допустим.
Следующий:

SELECT city, country, title, tagline, description, tags, ts_rank_cd(fts, query) AS rank
FROM trips, plainto_tsquery('ru','тайны гауди') query
WHERE query @@ fts
ORDER BY rank DESC
LIMIT 100;

результат 5 строк, но почему? я хочу те-же 30 строк что и в первом запросе, но строки по "тайны гауди" что-бы были выше.

индекс RUM, словари есть.

tsvector поле создаю так

UPDATE trips SET fts = (setweight(to_tsvector('ru',city), 'A')||
          setweight(to_tsvector('ru',country), 'B')||
          setweight(to_tsvector('ru',title), 'C')||
          setweight(to_tsvector('ru',tagline), 'C')||
          setweight(to_tsvector('ru',description), 'C')||
          setweight(to_tsvector('ru',tags), 'C'));

Индекс так:

CREATE INDEX rumidx ON trips USING rum (fts rum_tsvector_ops);

как сделать, что-бы брал документы по частичному совпадению в т.ч.?

Спасибо!

Answer 1

[Артур]

Попробуйте выполнить такой запрос:

SELECT city, country, title, tagline, description, tags
FROM trips
WHERE fts @@ plainto_tsquery('ru','гауди')
ORDER BY ts_rank_cd(fts, plainto_tsquery('ru','тайны гауди')) DESC
LIMIT 100;

Это для GIN. Для RUM можно выполнить такой запрос:

SELECT city, country, title, tagline, description, tags
FROM trips
WHERE fts @@ plainto_tsquery('ru','гауди')
ORDER BY fts <=> plainto_tsquery('ru','тайны гауди')
LIMIT 100;

Comments

[Andy Developer]

ERROR:  column "query" does not exist
LINE 3: WHERE query @@ plainto_tsquery('ru','гауди')

Но смысл я понял, но такое тоже не подойдет, т.к. я не представляю как выделить ключевое слово в поисковом запросе автоматически.

[Артур]

Umbrella Coders, заработался ) Перепутал местами fts и query. По какому признаку можно выделить ключевое слово из запроса?

[Andy Developer]

Артур, это может быть наименование города, достопримечательности , музея и т.д. то есть запрос может быть типа "детские экскурсии в барселоне" или "групповая экскурсия по красной площади" , изначально нужно полное соответствие по запросу, далее по "барселоне" или "красной площади" как пример, вообщем я не представляю как автоматически это выделить.

[Артур]

Umbrella Coders, выделить достаточно легко, если был бы словарь таких ключевых слов. К примеру:

SELECT city, country, title, tagline, description, tags
FROM trips
WHERE fts @@ plainto_tsquery('ru_key','тайны гауди')
ORDER BY ts_rank_cd(fts, plainto_tsquery('ru','тайны гауди')) DESC
LIMIT 100;

Здесь 'ru_key' - это словарь ключевых слов. Это может быть словарь Ispell. Самое трудное - это сделать такой словарь. Если был бы словарь, то парсер постгреса выделил бы такие слова.

[Andy Developer]

Артур, вот-вот, там в базе 6к позиций, если допустим страны и города выделить в словарь еще просто, то вот достопримечательности, уже сложнее. Разве что спарсить с сайта типа https://www.votpusk.ru/country/dostoprim_s.asp

Спасибо. теперь я хоть знаю куда двигаться, если мой первоначальный вариант вообще плохо будет работать, буду словарь делать.

Answer 2

[Dimonchik]

лень разбирать опции, но чудес чтобы движок понял что "вот эти неполные доки ранжируй ниже этих полных" не бывает

или строишь пересечение ( так проще всего + мультипоточность), или меняешь структуру данных где вес на полные добавится за счет присутствия в каком нибудь tagline

Comments

[Andy Developer]

Почему по запросу "тайны гауди" , не находятся строки, где в tsvector-е есть лексема "гауди"? я так понимаю потому-что plainto_tsquery преобразует в "тайны &(И) гауди", а как сделать что-бы было ИЛИ?

[Andy Developer]

Umbrella Coders, хотя так я знаю как сделать, но блин выдача уже не та получается.

[Dimonchik]

на ходу переобуваешься? )) ИЛИ даст кучу тайн без гауди

[Andy Developer]

да, да, дошло. просто хочу "гауди" без "тайн" тоже получить) но это видимо не реально, т.к. никогда не угадаешь, какая лексема целевая, а какая общая будет. оставлю пожалуй как есть.