Как использовать регистрозависимость русских слов в pg_search?

Question

[Семён Семёнов]

Использую gem pg_search. Всё чудесно, пока не ищешь слова в разных регистрах русских слов. Т.е. "яблоко" и "Яблоко" это разные результаты. Но "test" и "Test" - одинаковые. Как это решить?

Мне пока к голову приходит только один вариант, но он тупой. Делаем ещё одну колонку, в которой всё содержимое - в нижнем регистре. А когда ищем, искомое слово тоже переводить в нижний регистр. Тогда конечно результат будет нужный, но это тупое дублирование. Ладно если одна колонка, но их же может быть множество.

Comments

[sim3x]

В какой кодировке база?

[Семён Семёнов]

sim3x, UTF8 конечно

[Семён Семёнов]

И SELECT * FROM information_schema.character_sets; это подтверждает.

[vreitech]

sim3x, более важно, установлен ли для неё COLLATE.

[Семён Семёнов]

vreitech, Для БД это С , проверял так:

select datname, datcollate
from pg_database where datname = 'dbname';

А вот для колонок таблицы, collate везде null. Проверено так:

select table_schema,
  table_name,
  column_name,
  collation_name
from information_schema.columns
  where table_name = 'test_table'
order by table_schema,
  table_name,
  ordinal_position;

Какой он должен быть? Тоже C?

[vreitech]

Семён Семёнов, ru_RU

[Семён Семёнов]

vreitech, Там могут быть и другие языки, не только ru

[Семён Семёнов]

Вообще оказалось, что в БД вообще нет ни одной колонки, где бы был указан collation_name.

[sim3x]

Семён Семёнов, какой именно утф?

[Семён Семёнов]

sim3x, Простите, не понял вашего вопроса.

[Семён Семёнов]

Пришлось решить отдельной колонкой. Там дублируется текст в нижнем регистре, и поисковое слово тоже переводится в нижний. Таким образом, ищем по одной колонке, а показываем рядом стоящую.

Answer 1

[Дмитрий Телепнев]

Посмотрите в сторону default_text_search_config в конфигах постгреса(postgresql.conf). В вашем случае он должен быть pg_catalog.russian. Посмотрите запрос, который генерирует ОРМ. Может оказаться, что у вас конфиги разъехались.

Например,

select to_tsvector('pg_catalog.english', 'яблоко'), to_tsquery('pg_catalog.russian', 'Яблоко')

Comments

[Семён Семёнов]

Так штука в том, что там язык может быть любой. Точнее либо ру, либо en. Поэтому не могу указать какой-то один.

[Дмитрий Телепнев]

Семён Семёнов, Покажите примеры данных и описание таблицы

[Семён Семёнов]

Ничего необычного, простой "справочник": две колонки, bigint (для id) и text (для сообщений).

[Семён Семёнов]

Пришлось решить отдельной колонкой. Там дублируется текст в нижнем регистре, и поисковое слово тоже переводится в нижний. Таким образом, ищем по одной колонке, а показываем рядом стоящую.

[Дмитрий Телепнев]

А почему вы не использовали функциональный индекс?

create index on t using gin|gist (lower(col)::tsvector);

select * from t where CAST(lower(col) as tsvector) @@ plainto_tsquery(lower('text'))

[Семён Семёнов]

Дмитрий Телепнев, Ну потому что это не полнотекстовый поиск, насколько я понимаю.

[Дмитрий Телепнев]

Семён Семёнов, Поправил запрос.

[Семён Семёнов]

Дмитрий Телепнев, Если вас не затруднит, поясните пожалуйста, как это работает? Нужна ли переиндексация или типа того?

[Дмитрий Телепнев]

Обычный индекс. При вставке/обновлении, грубо говоря, вычисляет результат и складывает в индекс значение/ссылку на запись. При выборке в условии надо писать то выражение, на которое навешан индекс.
Если не углубляться во внутренности - примерно так.

[Семён Семёнов]

окей, попробуем. Хотя решение мне не нравится. Оно сильно скажем так, изолировано и приносит ручной труд. Но может вы и правы.

[Дмитрий Телепнев]

В чем вы видите ручной труд и изолированность? Вроде индекс навешал и все, только в lower не забывай заворачивать...

[Семён Семёнов]

Ну используя gem (библиотеку), удобно конфигурировать запросы, что не хочется делать руками (фильтрации, сортировки и т.д.). Но это конечно не исключает вашей правоты решения.