Добрый день.
Имеется небольшой парк серверов.
около 6 на убунту, а так же две несущие тачки на kvm (proxmox) и есхи, внутри которых так же вмки с убунту.
как, по вашему мнению, лучше собирать логи?
в основном с тачек на убунту, но конечно же можно было бы еще брать данные с квмки (хотя это посредственно, в основном нужно все с виртуальных машин, что внутри)
Сейчас с одной тачки агрегирую логи спланком, удобно. но есть ограничение, кажется, в 500мб всего.
иногда выходит, что за день прилетает в разы больше логов.
как можно переиначить систему? чтобы она не только собирала данные со всех тачек, но еще и отрисовывала/визуализировала ее а-ля спланк или Elasticsearch.
кстати, второй тоже пробовал, но с ним что-то "не пошло".
есть ли альтернативы? желательно, бесплатно)
Есть популярный стек ELK (Elasticsearch, Logstash, и Kibana).
Logstash - "перемалывает" разные виды логов и отправляет их в Elasticsearch. В свою очередь к этой СУБД обращается Kibana (UI). На серверах работает агент Filebeat, отправляющий логи на сервер Logstash.
Есть другой вариант (возможно) попроще, в случае если на серверах работает собственное ПО, которое может использовать библиотеку/API для отправки логов в облачные сервисы. Есть всякие LaaS, такие как: Loggly, Papertrail и много других. Тогда не нужно использовать свои серверные мощности для обработки и просмотра логов.
серверные мощности -- не проблема.
то есть, если говорить про ELK, делаем так:
на тачке-сбора-логов ставим стек, а на всех тачках, где нужно пушить логи в стек, ставим filebeat и все?
по факту он будет автоматом пушить все в стек, а он в свою очередь все это обрисовывать кибаной + сохранять (надеюсь??) все спушенные логи у себя в субд
Простой
