Неправильная кодировка между ipb3 и sphinx

Question

[Анатолий Гусев]

Добрый всем день.

Недавно настроил на VPS sphinx для форума, после некоторых проблем sphinx удачно заработал. Однако после связки его с ipb выяснилась одна проблема. При поиске корректно идут только запросы латиницей. Причину я установил, ipb отправляет запрос в cp1251, а sphinx принимает в utf-8. Однако пути для решения этой проблемы я не нашёл. Кто сталкивался, подскажите как быть?

Answer 1

[SonicGD]

Вам нужно в конфиге, который генерит IPB, перед каждым sql_query_pre добавтьб строчку

Comments

[SonicGD]

Извиняюсь, случайно отправилось. Добавить строчку
sql_query_pre = SET NAMES UTF8

[SonicGD]

В source core_search_main: ipb_source_config выглядит так?
sql_query_pre = SET NAMES UTF8
sql_query_pre = REPLACE INTO be_cache_store VALUES( 'sphinx_core_counter', (SELECT max(id) FROM be_faq), '', 0, UNIX_TIMESTAMP() )

[Анатолий Гусев]

sql_query_pre = SET NAMES UTF8
# Set our forum PID counter
sql_query_pre = REPLACE INTO ipbcache_store VALUES( 'sphinx_core_counter', (SELECT max(id) FROM ipbfaq), '', 0, UNIX_TIMESTAMP() )

# Query posts for the main source
sql_query = SELECT f.*, f.id as search_id, \
REPLACE( pi.perm_view, '*', 0 ) as perm_view \
FROM ipbfaq f \
LEFT JOIN ipbpermission_index pi ON ( pi.perm_type_id=1 AND pi.perm_type='help' ) \
WHERE f.id <= ( SELECT cs_value FROM ipbcache_store WHERE cs_key='sphinx_core_counter' )

# Fields
sql_attr_uint = search_id

sql_ranged_throttle = 0

вот так

[Анатолий Гусев]

Меня просто смущает что лог выглядит так:
clip2net.com/s/1gW3b

[Анатолий Гусев]

Полный реиндекс сделал, не помогает. Мне кажется всё же виновата кодировка, но как поправить я не знаю.

Answer 2

[Пума Тайланд]

В сфинксе надо выставлять кодировки в конфиге
в соурсе указывать в зависимости от кодировки
sql_query_pre = SET NAMES utf8
или
sql_query_pre = SET NAMES cp1251

в индексе в зависимости от кодировки
charset_type = utf-8
или
charset_type = sbcs

И сфинкс с такими параметрами может искать по сайтам с кодировками utf8 или cp1251

Answer 3

[Анатолий Гусев]

Возможно я что-то не так делаю, но последние советы мне не помогли. Вот конфиг zalil.ru/31952225 Может что неправильно указываю. Если кто может, скиньта ваш рабочий.

Answer 4

[Анатолий Гусев]

Всем снова здравствуйте.

Отчасти справился с той проблемой, но кое-что осталось: индекс и запуск демона идут без ошибок, однако когда я хочу поискать что-то на форуме с запросом на кириллице мне пишет что ничего нету, латиницей поиск работает всюду, плюс поиск кириллицей не работает только по постам. В блогах, галереи и календаре всё работает. С чем это может быть связано.

Мои конфиг: zalil.ru/31974004

Answer 5

[IvikGH]

motomac
проблема актуальна для меня, можно получить подсказку ?

Comments

[motomac]

Уже не помню, как это дело решал, но вроде просто ковырял конфиг Сфинкса. Единственное помню, что там эти умники захардкодили максимальное количество результатов, получаемых их Сфинкса, потому он многое тупо не находил. Пришлось вручную этот хардкод с 1000 поднимать до 10000.

В моем конфиге вижу следующие изменения:
```
############################### --- TAGS --- ################################

source ipb_core_tags_search_main : ipb_ipb_source_config
{
# //Мой фикс
sql_query_pre = SET CHARACTER SET utf8
# Set our forum PID counter
sql_query_pre = SET NAMES utf8

...

source ipb_core_tags_search_delta : ipb_core_tags_search_main
{
# //Мой фикс
sql_query_pre = SET CHARACTER SET utf8

...

################################# --- FORUM --- ##############################
source ipb_forums_search_posts_main : ipb_ipb_source_config
{
# //Мой фикс
sql_query_pre = SET CHARACTER SET utf8

...

source ipb_forums_search_posts_delta : ipb_forums_search_posts_main
{
# //Мой фикс
sql_query_pre = SET CHARACTER SET utf8

...

index ipb_forums_search_posts_main
{
source = ipb_forums_search_posts_main
path = /var/lib/sphinx/ipb/ipb_forums_search_posts_main

docinfo = extern
mlock = 0
morphology = stem_enru
min_word_len = 2
charset_type = utf-8
html_strip = 0
#infix_fields = post, title
#min_infix_len = 3
#enable_star = 1
}

...

source ipb_forums_search_archive_main : ipb_ipb_source_config
{
# //Мой фикс
sql_query_pre = SET CHARACTER SET utf8

...

source ipb_forums_search_archive_delta : ipb_forums_search_archive_main
{
# //Мой фикс
sql_query_pre = SET CHARACTER SET utf8

...

index ipb_forums_search_archive_main
{
source = ipb_forums_search_archive_main
path = /var/lib/sphinx/ipb/ipb_forums_search_archive_main

docinfo = extern
mlock = 0
morphology = stem_enru
min_word_len = 2
charset_type = utf-8
html_strip = 0
#infix_fields = archive_content, title
#min_infix_len = 3
#enable_star = 1
}

...

################################# --- BLOG --- ##############################

source ipb_blog_search_main : ipb_ipb_source_config
{
# //Мой фикс
sql_query_pre = SET NAMES utf8
sql_query_pre = SET CHARACTER SET utf8

...

source ipb_blog_search_delta : ipb_blog_search_main
{
# //Мой фикс
sql_query_pre = SET NAMES utf8
sql_query_pre = SET CHARACTER SET utf8

...

index ipb_blog_search_main
{
source = ipb_blog_search_main
path = /var/lib/sphinx/ipb/ipb_blog_search_main

docinfo = extern
mlock = 0
morphology = stem_enru
min_word_len = 2
charset_type = utf-8
html_strip = 0
#infix_fields = entry_name, entry
#min_infix_len = 3
#enable_star = 1
}

...

source ipb_blog_comments_main : ipb_ipb_source_config
{
# //Мой фикс
sql_query_pre = SET NAMES utf8
sql_query_pre = SET CHARACTER SET utf8

...

source ipb_blog_comments_delta : ipb_blog_comments_main
{
# //Мой фикс
sql_query_pre = SET NAMES utf8
sql_query_pre = SET CHARACTER SET utf8

...

index ipb_blog_comments_main
{
source = ipb_blog_comments_main
path = /var/lib/sphinx/ipb/ipb_blog_comments_main

docinfo = extern
mlock = 0
morphology = stem_enru
min_word_len = 2
charset_type = utf-8
html_strip = 0
#infix_fields = comment_text
#min_infix_len = 3
#enable_star = 1
}
```

Надеюсь, пригодится.

[IvikGH]

Спасибо за ответ.
Только что получилось методом проб и ошибок.
Кирилица заработала.
Теперь задача разобраться в точном поиске по нескольким словам.