Правильно ли я понимаю что нужно на каждом сервере поднимать отделный экземпляр logstash?

Question

[voe]

Настраиваю сбор логов на базе ELK возник вопрос как правильно в соответствии с заложенной логикой разработчиков ELK размещать и настраивать logstash?
1. Допустим у меня 5(с разными службами и соответственно с разными типами логов) серверов с которых нужно слать логи например через Beats , мне нужно поднять на каждом сервере logstash или настраивать один logstash который будет принимать потоки с 5 разных серверов?

2. В logstash секции input, filter и output они одна для logstash ? т.е. могу ли я создать несколько конфигов в которых будут полностью определены уникальные input, filter и output ?

Answer 1

[Макс]

1. Нет. ИМХО битс может слать и не на локальный хост. так что шлите на 1 общий логсташ.
2. да, одна . Если хотите разные источники привязать к разным фильтрам и разным output - используйте

input {
    file {
            type => "my_type"
}
filter {
    if [type] == "my_type" {}
}
output {
    if [type] == "my_type" {}
}

Comments

[voe]

if [type] == "my_type" {}

а как в Beats при отправки указать type ?

[Макс]

voe: хм.. хороший вопрос. Я бы разрулил на уровне нескольких инпутов для битса на стороне логсташа. и повесить их на разные порты.

[Павел Козлов]

voe:
"The Beats shipper automatically sets the type field on the event. You cannot override this setting in the Logstash config. If you specify a setting for the type config option in Logstash, it is ignored." https://www.elastic.co/guide/en/logstash/5.0/plugi...

[Макс]

Павел Козлов: блин, точно. А рецепт для преодоления этого есть? Я "в лоб" не нашел

[Макс]

Павел Козлов: и сам нашел ответ. У Битса type устанавливается на его стороне, в параметре "document_type:"