Как отследить ход процесса индексации в Manticore / Sphinx?

Question

[Avreliya777]

Т.е. вот я набираю

indexer --config /manticore.conf.in myindex --rotate

Далее выводится

using config file '/manticore.conf.in'...
indexing index 'myindex'...

И всё, больше мы ничего не знаем, как там дела идут.
Если какой-то сбой, то оно так и виснет в этом состоянии.
И не узнать, то ли он там что-то индексирует всё ещё, то ли какой-то сбой в работе.
Мне приходится только по ctrl+c сбрасывать дня через 3 только когда я уже точно есть уверенность, что все разумные сроки прошли. Но блин - время то прос#ано, а задача до сих пор не выполнена...

--
И после ctrl+c выясняется, что где-то там в самом начале ещё потеряно было соединение с mysql при выполнении запроса, а всё остальное время мы просто ничего не делали:

ERROR: index 'myindex': sql_fetch_row: Lost connection to MySQL server during query.
total  docs, 1263321 bytes
total ... sec,...
total - 0 reads... 0 sec...
total 4 writes, 0 sec....

Comments

[ManticoreSearch]

А какая версия indexer'а Sphinx / Manticore?

[Avreliya777]

ManticoreSearch, Manticore 5.0.2

[ManticoreSearch]

Попробуйте запустить indexer с --print-queries
Вообще, indexer что в Sphinx, что в Manticore должен писать прогресс вовремя индексации. Предположение такое, что зависает в самом начале что-то. --print-queries должен помочь понять на каком запросе зависает.

[Avreliya777]

ManticoreSearch, спасибо, попробуем --print-queries, потом отпишусь. А прогресс никогда почему-то у нас не отображается. всегда только в конце статистика появляется.

[d'Ivan]

Код открыт ведь - всегда можно посмотреть что там делается.

[Avreliya777]

ManticoreSearch,
Отправляю отчёт по --print-queries
Запускаю

indexer --config /manticore.conf.in myindex --rotate --print-queries

Сразу выводится:

using config file '/manticore.conf.in'...
indexing index 'myindex'...
SQL-CONNECT: ok
SQL-QUERY:  SET NAMES utf8: ok

затем ожидание до окончания составления индекса....
и только по окончании вывод статистики...
в общем всё то же самое, только с прибавлением двух новых строчек.

Но случайным образом выяснилось, как узнавать, есть ли обрыв соединения без CTRL+C, нужно правой кнопкой мыши нажать на чёрном поле в CMD. Почему-то windows сама не обновляет экран консоли, но то вина уже явно не manticore. А вот статистика всё равно почему-то только в конце появляется.

[ManticoreSearch]

Это только на винде так?

[Avreliya777]

ManticoreSearch, К сожалению нет возможности на linux проверить.

[ManticoreSearch]

ОК, заведите issue про то, что на винде не отображается прогресс для индексера тут https://github.com/manticoresoftware/manticoresear...

Посмотрим.

Answer 1

[Dimonchik]

умные люди
и дрессировщики
дают по одной рыбке - корми порциями, а не ВСЕ - три дня это ох*еть сколько данных, такое на сервере возможно вообще ? за 72 часа прочитает все по кругу 10 раз

P.s. я тегнул ManticoreSearch , у них вообще форум неплохой...

Answer 2

[nokimaro]

indexer --verbose

Comments

[nokimaro]

но конкретно текст ошибки говорит о том что возможно надо подтюнить какой-то из параметров timeout в MySQL

mysql> show variables like '%timeout';
+--------------------------+-------+
| Variable_name | Value |
+--------------------------+-------+
| connect_timeout | 5 |
| delayed_insert_timeout | 300 |
| innodb_lock_wait_timeout | 50 |
| interactive_timeout | 90000 |
| net_read_timeout | 90000 |
| net_write_timeout | 60 |
| slave_net_timeout | 3600 |
| table_lock_wait_timeout | 50 |
| wait_timeout | 90000 |
+--------------------------+-------+
9 rows in set (0.03 sec)

первые подозреваемые
net_read_timeout
wait_timeout

[Avreliya777]

nokimaro,

Да, у меня видимо низкие значения.
а ключ --verbose что делает?
На сайте manticore просто написано что он уже deprecated.

indexer --verbose is deprecated as it never added anything to the indexer output