Почему не работает добавление слова в wordforms.txt?

Question

[RabIN]

Добавила слова в цщкв
Тура > Tura
не работает, если введешь слово "Тура".
В бд есть Tura 1, Tura 2
что надо сделать, чтобы заработало?
а по остальным почему то-работает...

sudo service sphinxsearch status
● sphinxsearch.service - LSB: Fast standalone full-text SQL search engine
   Loaded: loaded (/etc/init.d/sphinxsearch; bad; vendor preset: enabled)
   Active: active (running) since Сб 2018-10-13 20:34:12 MSK; 1min 13s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 3052 ExecStop=/etc/init.d/sphinxsearch stop (code=exited, status=0/SUCCESS)
  Process: 3146 ExecStart=/etc/init.d/sphinxsearch start (code=exited, status=0/SUCCESS)
   CGroup: /system.slice/sphinxsearch.service
           ├─3150 /usr/bin/searchd
           └─3151 /usr/bin/searchd

окт 13 20:34:11 good sphinxsearch[3146]: WARNING: invalid mapping (destination contains blended characters) (wordform='емкабель > ЭМ-Кабель'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wor
окт 13 20:34:11 good sphinxsearch[3146]: WARNING: invalid mapping (destination contains blended characters) (wordform='им кабель > ЭМ-Кабель'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wo
окт 13 20:34:11 good sphinxsearch[3146]: WARNING: invalid mapping (destination contains blended characters) (wordform='имкабель > ЭМ-Кабель'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wor
окт 13 20:34:11 good sphinxsearch[3146]: WARNING: invalid mapping (destination contains blended characters) (wordform='имкабиль > ЭМ-Кабель'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wor
окт 13 20:34:11 good sphinxsearch[3146]: WARNING: invalid mapping (destination contains blended characters) (wordform='эм кабел > ЭМ-Кабель'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wor
окт 13 20:34:11 good sphinxsearch[3146]: Sphinx 2.2.9-id64-release (rel22-r5006)
окт 13 20:34:11 good sphinxsearch[3146]: Copyright (c) 2001-2015, Andrew Aksyonoff
окт 13 20:34:11 good sphinxsearch[3146]: Copyright (c) 2008-2015, Sphinx Technologies Inc (http://sphinxsearch.com)
окт 13 20:34:12 good sphinxsearch[3146]: sphinxsearch.
окт 13 20:34:12 good systemd[1]: Started LSB: Fast standalone full-text SQL search engine.

проделывала
sudo service sphinxsearch stop
sudo indexer --all
sudo service sphinxsearch start

Answer 1

[Пума Тайланд]

У вас же пишет сразу что ошибка в файле форм исправьте ее

Comments

[RabIN]

Спасибо за ответ, но вроде убрала дублирующие записи.
Все равно пишет то же самое , понятия не имею, что нужно еще убрать?
если я набираю в поиске на сайте слово "Тура", в лог query.log попадает
Аналогично набираю команду
call keywords ('Тура', 'bitrix2');
выводит верно.
То есть синоним на сфинксе работает,

qpos | tokenized  | normalized |
+------+------------+------------+
| 1    | тура      | tura

wordforms.txt
тура > Tura
Запросы до этого слова и после выдает результаты.

В бд самой есть много Tura (но если введешь тура , то синоним не работает).

смотрю сам searchd.log там очень много варнингов, что надо

[Sun Oct 14 07:22:44.665 2018] [ 1519] WARNING: invalid mapping (destination contains blended characters) (wordform='эм кабел > ЭМ-Кабель'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
[Sun Oct 14 07:22:44.665 2018] [ 1519] WARNING: index 'bitrix2': all source tokens are stopwords (wordform='', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.

первых варнингов таких куча... Что сделать не знаю. Второй варнинг не понимаю...

[Пума Тайланд]

RabIN, проверьте что буквы нужные и не перепутаны алфавиты

[RabIN]

Пума Тайланд, спасибо... может wordforms.txt надо в конкретной проге редактировать?
я в обычном редакторе gedit редактирую.
Вроде проверяла... , попробую еще раз проверить

[RabIN]

Пума Тайланд, проверила, нет . Вроде все верно.
Даже одно слово поставила в wordforms.txt ... аналогично.....

[Пума Тайланд]

RabIN, я про алфавиты в индексе а не в словоформах

[RabIN]

morphology = lemmatize_ru_all, lemmatize_en_all
charset_table = 0..9, A..Z->a..z, x->U+0445, c->U+0441, _, a..z, \
U+410..U+42F->U+430..U+44F, U+430..U+44F, U+401->U+0435, U+451->U+0435
blend_chars = U+002C, U+2010, U+2012, U+2013, U+2014, U+2044, U+002F, U+002D, U+2d, /

я, к сожалению, не поняла про алфавит. Вот это написано в индексе.

[Пума Тайланд]

Само слово то проблемное вы найти можете без словоформ?

[RabIN]

я могу найти только Tura
а сам синоним нифига не ищется, сейчас пробую с кодировкой, перекодировала словоформы в utf без БОМ (так как сам сайт на utf8).

сейчас полную индексацию провожу, посмотрю, что из этого получится,
главное остальные синонимы ищутся...
стоплиста в конфиге не прописано...
Даже не знаю , что и думать...

[RabIN]

Пума Тайланд, объясните, пожауйста, если нетрудно, что-то понимате в статье https://stackoverflow.com/questions/21233286/how-t...

что означает ошибка WARNING: invalid mapping (destination contains blended characters)
и что надо в этом случае сделать?

я не поняла никак

[Пума Тайланд]

RabIN, ну зачем вы там пишите символы которые не входят в алфавит

[RabIN]

не поняла...., можно поподробнее, где я пишу символы?

[Пума Тайланд]

RabIN, а на что у вас эта ошибка?

[RabIN]

Пума Тайланд,

precaching index 'bitrix'
WARNING: index 'bitrix': morphology option changed from config has no effect, ignoring
WARNING: invalid mapping (destination contains blended characters) (wordform=',k'rvjh > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform=',k'rvjh ljhb > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='blacmar > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='blacmore > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='blakmar > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='blakmor > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='blecmor > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='blekmor > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='блекмар > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='блекмор > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='блекмр > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='блекмэр > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='блэкмар > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='блэкмор > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='блэкмэр > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='дори > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: invalid mapping (destination contains blended characters) (wordform='дорри > BLACKMOR-Dori'). Fix your wordforms file '/etc/sphinxsearch/wordforms/wordforms.txt'.
WARNING: index 'bitrix': no destination token found (wordform='gee > GE', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': all source tokens are stopwords (wordform='je > GE', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': all source tokens are stopwords (wordform='же > GE', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': all source tokens are stopwords (wordform='жи > GE', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': all source tokens are stopwords (wordform='жэ > GE', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': no destination token found (wordform='джепи > GP', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': no destination token found (wordform='джипи > GP', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': no destination token found (wordform='джыпи > GP', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': no destination token found (wordform='жепи > GP', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': no destination token found (wordform='жипи > GP', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': no destination token found (wordform='жыпи > GP', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': no destination token found (wordform='жете > GT', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': no destination token found (wordform='жите > GT', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': no destination token found (wordform='житэ > GT', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': no destination token found (wordform='жытэ > GT', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.
WARNING: index 'bitrix': no destination token found (wordform='жэтэ > GT', file='/etc/sphinxsearch/wordforms/wordforms.txt'). IGNORED.

такие ошибки возникают при рестарте индекса. (searchd--stop, indexer -all ,search), а также в searchd.log
вот часть лога
я перелопатила весь инет, нашла вот этот ответ с ставерлоу, но не поняла о чем он. Они тоже не ищутся...

[Пума Тайланд]

Ну там же в ошибке прямо написано где она , просто надо лог внимательно читать

[RabIN]

подскажите, что означает ошибка invalid mapping (destination contains blended characters)
https://stackoverflow.com/questions/21233286/how-t...
согласно этой статье нкжно вывести все эти варнинги в exceptions?
Верно, извините, я очень туплю....так не поняла ответ на вопрос, дубляжей вроде не вижу... Стемминг выделяет корень.... и в чем тогда причина, никак не пойму...

[Пума Тайланд]

RabIN, забудьте про статью там бред старой кобылы там же написано что вы используете символы которых нет в алфавите и даже строка приведена

[RabIN]

наверное, статья https://vk.com/wall-20032698_974
пойду голову освежу...
нужно индекс обновить, верно?
Это показывает строка morphology option changed from config has no effect, ignoring

Вопросы к Вам,если можно, пож-стааааа. Очень и очень хочется разобраться....
1. как определить, что эти не символы моего алфавита... ведь из ru.pak не открывается файл... (был de.pak - я удалила, то же самое)
2. Алфавит, как вроде в приоритете сначала стемминг_русский, а потом стемминг английский,
и у меня в вордформ русские и английские буквы есть, или я опяяяяяяять туплю...

[Пума Тайланд]

RabIN, что за хрень вы несёте? Вы лог пробовали смотреть?
Алфавит это буквы а у вас там кавычки девопсы и прочая хрень и он лог вам показывает конкретную строку где косяк

[RabIN]

Пума Тайланд,
может у вас есть идеи???
подскажите, пожалуйста,

тура => Tura
не ищет, а ищет "туракань"

прописала в wordforms.txt
call keywords ('тура', 'bitrix');
+------+-----------+------------+
| qpos | tokenized | normalized |
+------+-----------+------------+
| 1 | тура | Tura |
со стороны сайта не меняется синоним, ищется Туракань

прописала в exceptions.txt
тура => Tura

только пишут
call keywords ('тура', 'bitrix');
+------+-----------+------------+
| qpos | tokenized | normalized |
+------+-----------+------------+
| 1 | Tura | Tura |

Это находится верно на стороне сфинкса, только со стороны сайта не находится Tura, а ищется "Туракань"

в базе со стороны сайта есть столбец с данными, содержащие
"Туракань" и "Tura", и ищет "Туракань"...если введешь просто "тура", а если введешь "Tura", то ищет "Tura", что верно...
Как быть....