Почему elasticsearch не выводит входящую информацию?

Question

[ks312]

Собрали для себя сервер elasticsearch, туда посылаются логи апача. В один момент он просто перестал выдавать новые данные. Места на диске полно, elasticsearch ведет сервера, откуда шлются данные. В логах logstahs начала появляться такая ошибка:

Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"billing.dostek.kg_access-2019.08.02", :_type=>"_doc", :routing=>nil}, #], :response=>{"index"=>{"_index"=>"индекс_посылаемого_лога", "_type"=>"_doc", "_id"=>nil, "status"=>400, "error"=>{"type"=>"validation_exception", "reason"=>"Validation Failed: 1: this action would add [2] total shards, but this cluster currently has [1000]/[1000] maximum shards open;"}}}}

Кто сталкивался с такой проблемой?

Answer 1

[chupasaurus]

В ES 7.0 ввели софтовое ограничение (cluster.max_shards_per_node = 1000) количества шардов на одну ноду. Либо повышайте значение (полторы тысячи шардов с мелкими индексами у меня тянул сервер с -Xmx 5G), либо удаляйте/схлопывайте по количеству шардов существующие индексы, либо добавляйте ноды.