Почему процесс ElasticSearch может постоянно падать?

Question

[Malin]

В базе эластика около 1 миллиона записей, настройки - дефолтные. Через некоторое время после старта падает. В логах ES пусто по этому поводу.
Пробовал увеличить выделяемую память до 4 гигов - эффекта не дало.
Стоялс OpenJAVA, сменил на Oracle JAVA - эффекта не дало.

Как определить, что не так с ES?

Answer 1

[MintTea]

Покажите ulimit -a. И как вы сервер запускаете, сервисом/вручную/супервизором?

Comments

[Malin]

Результат ulimit -a:
----------------------------------------------
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 3093619
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 10240
cpu time (seconds, -t) unlimited
max user processes (-u) 3093619
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
----------------------------------------------
Запускаю так (из под root'a):
/etc/init.d/elasticsearch start

[MintTea]

А память, соответственно, в /etc/default/elasticsearch или /etc/sysconfig/elasticsearch меняли? Попробуйте там же добавить строки MAX_LOCKED_MEMORY=5000000 и MAX_OPEN_FILES=65535

[Malin]

Менял здесь: /etc/default/elasticsearch (устанавливал ES_HEAP_SIZE=4g)
Параметры MAX_LOCKED_MEMORY=5000000 и MAX_OPEN_FILES=65535 добавил, рестартанул. Опять упал :(

[MintTea]

А в dmesg или где-нибудь в других логах ничего не появляется? Процессы же просто так не умирают, как правило. Если в логах эластика ничего нет, то либо логирование (logging.yml) не настроено, либо процесс убивается системой.

[Malin]

Интересная вещь: после падаения, рестартую ES:
[ ok ] Stopping Elasticsearch Server: Elasticsearch Server is not running but pid file exists, cleaning up.
[....] Starting Elasticsearch Server:sysctl: permission denied on key 'vm.max_map_count'

Логи настроены по-умолчанию, ставил также уровень "Error". В лог сыпится информация, например, "..failed to reconnect to node ... Caused by: java.net.ConnectException: Connection refused..." но эти сообщения сыпятся, когда эластик работает, после того, как он падает, ничего нового нет.

А как посмотреть логи dmesg?

[MintTea]

Как правило, командой `sudo dmesg`. Ошибка с sysctl встречается у людей тут: https://github.com/elasticsearch/elasticsearch/iss... и вроде появляется на vps с openvz. Попробуйте еще добавить в /etc/default строку "MAX_MAP_COUNT=" (да, без значения). И кстати, какая версия ES?

[Malin]

dmesg - ни символа не выводит, т.е. ничего не сообщает.
Версия: 1.4.2
Падать стал по-разному, может и через 5 минут упасть, а может через несколько часов.

[Infinite]

Malin: Удалось решить эту проблему?

Answer 2

[JohnyD]

Есть какие-то новости по решению данной проблемы?