Из каких источников Kibana читает логи?

Question

[gitdev]

На проекте есть ELK(Elastic search, Logstash, Kibana) в Kibana есть логи.
1. Из каких источников Kibana читает логи?
2. Как связанни логи Logstash и Kibana с точки зрения Kibana?

Comments

[Алексей Черемисин]

Очень похоже, что это вопрос из задания.
Поэтому на него тут никто не ответит!

[gitdev]

Забавно конечно)

[Sand]

Стэк ELK (elasticsearch, logstash, kibana) состоит из 3-х компонентов, связанных следующим образом:
Файлы журналов собираются logstash и отправляются в хранилище - elasticsearch,
Kibana берет данные из elasticsearch и отображает их конечному пользователю.
Это если вкратце

[gitdev]

Спасибо!

Answer 1

[Saboteur]

кибана читает из Elastic Search
собственно Elastic это и есть база данных, а кибана - визуализатор.

А данные в эластик могут попадать разными способами, но один из популярных - это через логстеш.
Логстеш может либо читать файлы, либо в логстеш логи могут слать приложения напрямую, либо в логстеш могут логи пересылать специализированные агенты (filebeat, fluentd и др)

Comments

[gitdev]

Logstash использует Elastic search в качестве хранилища логов?

[gitdev]

Logstash использует Elastic search в качестве хранилища логов?

[Saboteur]

логстеш никак не использует еластик, логстеш это просто сервис, позволяет выполнять некоторый парсинг и применить к ним фильтры. Например добавить теги, объединить какие-то поля, проверить и установить правильный таймстамп в соответствии с временной зоной (например взять тамстамп из строки лога, и использовать именно его, а не время когда лог пришел в логстеш).

В эластик можно слать данные и напрямую, у него же тоже есть API. Логстеш просто удобный промежуточный сервис-брокер-фильтр для передачи инфы дальше

[Saboteur]

В общем достаточно популярная конфигурация может быть такая

1. виртуалки, на них куча приложений висит какой-нить агент типа filebeat
агент настроен на директории с логами регулярно читает новые данные и шлет в логстеш
2. логстеш в зависимости от хостов с которых пришли данные, тегирует строчки и шлет в эластик
3. кибана читает из эластика

1. fluentD интегрирован с кубернетес, чтобы грабить логи всех приложений и слать в логстеш
2. логстеш добавляет теги, подчищает лишние поля или добавляет свои преобразования, шлет в эластик
3. кибана читает из эластика

1. Приложения, запущенные на разных ресурсах (виртуалки, контейнеры), шлют логи прямо в API логстеша
2. логстеш добавляет теги, подчищает лишние поля или добавляет свои преобразования, шлет в эластик
3. кибана читает из эластика

1. Приложения, запущенные на разных ресурсах (виртуалки, контейнеры), шлют логи прямо в API эластика
3. кибана читает из эластика