Как правильно распарсить логи с файла Linux?

Question

[jolomo]

Имеется сервер linux, в crontab которого запланирована задача: выполнение скрипта (допустим скрипт отправляет команду df -h), результат(лог) выполнения данного скрипта сохраняется в отдельный файл cron.log

crontab -e:
*/5 * * * * /script/df.sh > /etc/logs/cron.log
В cron.log появляется соответствующая информация.
/dev/sdb1 1t
/dev/sda1 2t и т.д

Информация с этого файла отправляется через filebeat прямиком на 5044 порт Logstash`a:
Далее logstash принимает этот файл и отправляет его в elasticsearch.
В кибане получается так, что каждая строка парсится в отдельный message,

spoiler

а нужно, чтобы в одном message содержалась ВСЯ информация из лога

Конфиг logstash`a:

input {
  beats {
     port => 5044
 }
}

filter{
}


}


output {
  else if [type] == "serv1" {
       elasticsearch {
       hosts   => "https://es:9200"
       index   => "log-%{+YYYY.MM.dd}"
       user    => "elastic"
       password => "pass"
       ssl => true
       ssl_certificate_verification => false
       }
   }

}

Comments

[Дмитрий]

Может вам нужен нормальный мониторинг? Прометеус или заббикс например.

[Swuder]

нужно, чтобы в одном message содержалась ВСЯ информация из лога

в смысле - вся строка, не весь же файл целиком?
Часть подопытного файла покажите

[jolomo]

Дмитрий, вы, видимо, не поняли итоговый вопрос. Мне конкретно необходимо выполнить задачку по разделению строк.
Прометеус стоит, мониторит то, что нужно.
Мне нужно в elk собирать информацию из кастомных логов.

Answer 1

[rPman]

в filter укажи multiline, пример вот
p.s. а читать и искать потом как ты собираешься по этим логам?

Comments

[jolomo]

Инфу, которую он будет выводить - именно так и должна храниться, в этом и будет удобство.

[rPman]

ты разбирать каждую запись будешь каждый раз, как потребуется проанализировать
перевод в более удобный читаемый формат лучше делать заранее

пример, если хранить число - количество свободных байт на устройстве (или лучше точке монтирования, так как устройство меняют при поломке а точка монтирования остается неизменной), и для каждого устройства заводишь свой класс данных в логах

тогда ты какими-нибудь штатными инструментами не только искать но и графики строить сможешь, сразу, а вот строчку хранить в которой какие то sda sdb (напоминаю что некоторые контроллеры могут менять порядок устройств от загрузки к загрузки) - непонятно, неудобно и неэффективно