Как организовать сбор логов на хайлоаде?

Question

[Дмитрий]

Попробовали такую схему:
app->rsyslog->filebeat---[tls network]--->logstash->graylog->elasticsearch
Нагрузка примерно до 50млн сообщений в день. Logstash загнулся.

Думаю сделать так, что бы kibana и graylog ничего не писали в еластик в идеале, а только визуализировали данные.
Есть ли смысл локально завести на хостах logstash и писать в него напрямую из rsyslog через json темплейт. А уже logstash'ы бы складывали все в elastic? (на подобие такого подхода)
Хотел бы услышать мнения профессионалов, как вы у себя ведете логирование?

Comments

[chupasaurus]

Кол-во нод Logstash? Кластер Elasticsearch гомогенный или разделением на Master и Data ноды?

[Дмитрий]

Кластера никакого нет=)
Дело было в сложном фильтре.
Потом из-за сложных регекспов в екстракторах лег грейлог.
Теперь, после того, как убраны кривые конфигурации, железка E3-1270 v6 @64Gb нормально с данной нагрузкой справляется. Load avg: 0.8
Теперь думаю для красоты можно и кластер сделать)

Answer 1

[kot-samolet]

Может, поможет: Юрий Насретдинов, «Сбор логов в «облаке» в Badoo»

Answer 2

[Dimonchik]

экспериментируйте
аггрегируйте
Clickhouse в помощь, Sphinxsearch в помощь ( впрочем, после кликхауса с его %find% уже не сильно), ГуглБигДата в помощь
потери в сети, конечно, есть: утешение - сэмплирование в помощь, или выборочное логирование