Myrtle Wade

Насколько я понимаю для foreman нужна определенная структура hier'ы и он как enc инструмент в принципе заменяет hiera. Я не уверен, но вроде надо вырубать external_nodes и node_terminus, оставив foreman только для репортов. А как гибридно это использовать я хз - надо рыться в коде.

Я советовал бы вам через фильтр разбить message на части полностью, как привет вот так делают для IIS логов

grok {
    # check that fields match your IIS log settings
    match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IPORHOST:site} %{WORD:method} %{URIPATH:page} %{NOTSPACE:querystring} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clienthost} %{NOTSPACE:useragent} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:scstatus} %{NUMBER:time_taken}"]
  }

Вы отправляйте в базу всё сообщение, но поля сделайте какие вам нужно, и по которым потом будете делать фильтр и дашборды. Написак сам grok - советовал бы воспользовашись дебаггером https://grokdebug.herokuapp.com/
Также сразу НЕ смотреть в кибану, а разобраться с elasticsearch. Для начало идем смотреть ролик https://www.youtube.com/watch?v=7FLXjgB0PQI а также поставить себе Sense в хром и научиться писать запросы.
Также я вижу вы все сообщения отправляете не только в базу но и в файл:

file {
path => «/srv/LOG/LOG_all/all.oblast.log»
}

Он пустой или в нем есть сообщения?

Я рекомендовал бы вам добавить к вашему папету еще hiera, про нее была статья habrahabr.ru/post/242657
Она позволить вам более гибко управлять вашими серверами.
В вашем случае вам нужно будет ли создать 1 yaml файл для конкретной ноды и переписать локацию нового конфига.