Как заставить читать лог файл при старте logstash?

Question

[Anatoliy Farsonov]

Здравствуйте,

Возникло пару вопросов по logstash:

1) При указание input file filter(grok) output, при запуске лог не парсится. Парсинг только начинается когда в файл начинается записть(добавление строки). Как заставить logstash сразу парсить логи? У меня буду статические логи, которые не будут изменятся -> подгрузить, распарсить и в elasticsearch-> kibana

2) Есть папки в каждой из ней по 2 лог файла. Есть ли возможность в logstash парсить по очереди каждую папку, поля с 2х файлов в 1 json и начинать парсинг след папки

Спасибо большое!!

Answer 1

[chupasaurus]

Для парсинга файлов нужно использовать filebeat, в нём работа с файлами организована по-человечески.

Comments

[Anatoliy Farsonov]

если это не ремоут серваки а просто локальный репозиторий лог файлов, он сюда подходит?

[chupasaurus]

vvrider, filebeat входит в состав пакета beats, в котором по сути облегченные версии logstash под конкретные типы источников данных. Обычно pipeline в случае нестандартных логов beat → logstash на другом хосте для процессинга → elasticsearch, но можно как вгонять логи в локальный logstash, так и написать модуль к beat-у (формат фильтров такой же).