Как настроить сбор разных логов с помощью Logstash из одного файла?

Question

[NaksRif]

Добрый день,

Подскажите пожалуйста как настроить logstash, что бы он брал из одного файлы логи и разбивал их на разные типы(type:) ?

Пример.
Есть файл catalina.out

В нем есть несколько сервисов:
tomcat-s1
tomcat-s2
tomcat-s3

Как можно сделать, что бы при вводе в поисковую строку любой из перечисленных сервисов, через веб интерфейс kibana, выдавало их как разные типы?

Answer 1

[index0h]

Все зависит от формата логов.
Но в базово: в секции filter добавляйте к каждой из груп логов уникальное поле, например server. Далее в секции output - прописываете тип: document_type => "server-%{server}"

Comments

[NaksRif]

Уникальное поле? Можно уточнить пожалуйста, что имеется ввиду?

Вот пример какой код я использую в данный момент

filter {
if [type] == "tomcat-catalina" {
multiline {
patterns_dir => "/etc/logstash/patterns"
pattern => "(^%{TOMCAT_DATESTAMP})|(^%{CATALINA_DATESTAMP})"
negate => true
what => "previous"
}
if "_grokparsefailure" in [tags] {
drop { }
}
grok {
patterns_dir => "/etc/logstash/patterns"
match => [ "message", "%{TOMCATLOG}", "message", "%{CATALINALOG}" ]
}
date {
match => [ "timestamp", "yyyy-MM-dd HH:mm:ss,SSS Z", "MMM dd, yyyy HH:mm:ss a" ]
}
}

[index0h]

Я вижу это дело как-то так:

filter {
...
mutate {
add_field => { "server_type" => "%{type}" }
}
...
}

output {
...
elasticsearch {
...
document_type => "%{server_type}"
...
}
...
}