Как правильно поддерживать арабский язык в manticore?

Question

[edo1h]

Пробую переносить конфиг сфинкса в manticore.
Строки есть на разных языках, хочется максимально универсальный конфик.

Что было в сфинксе:

# chinese lang setting
ngram_len = 1
ngram_chars = U+3000..U+2FA1F
        
# ignore arabic chars
ignore_chars = U+0640, U+064B..U+065F,U+06D6..U+06DC,U+06DF..U+06E8,U+06EA..U+06ED

charset_table = /много-много кодов из разных языков/

На sphinxsearch.com/wiki/doku.php?id=charset_tables#arabic сказано:

Its necessary to add ignore_chars to ignore vowels, black space and other Arabic signs

В документации к manticore, рекомендуемый конфиг компактнее:

ngram_len = 1
ngram_chars = cjk
charset_table = non_cjk

Вопрос: не поломает ли отсутствие ignore_chars поиск по арабскому языку?

Answer 1

[ManticoreSearch]

Может поломать. Если качество поиска по арабским текстам чрезвычайно важно, то лучше оставить, как в сфинксе.

Comments

[edo1h]

не примете тогда FR: исключать из charset_table символы, которые в ignore_chars?
чтобы не составлять опять длинный список в charset_table «всё-всё-всё, кроме ignore_chars».

[ManticoreSearch]

Засылайте pull request (вот этот файл нужно поправить https://github.com/manticoresoftware/manticoresear... ) - рассмотрим.

[edo1h]

Я имел в виду чуть другое: при загрузке charset_table отфильтровывать символы, которые встретились в ignore_chars. Хотя, наверное, просто поправить non_cjk.txt для всех — тоже решение.

[ManticoreSearch]

при загрузке charset_table отфильтровывать символы, которые встретились в ignore_chars

Интересная идея. Нужно подумать насколько корректно так делать. Заводите feature request - https://github.com/manticoresoftware/manticoresear...