Не могу понять в чем ошибка — «Logstash shut down»?

Question

[Mad_User]

Добрый день!
Несколько дней назад у меня начал падать Logstash.
Логи показывают ERROR, но к сожалению я до сих пор не могу понять в чем дело. С момента когда Logstash нормально работал, были некоторые изменения в logstash.conf , но у меня была заведомо работающая копия конфига и с ней я уже проверил - вылезает тот же ERROR.
Вот что показывают логи Logstash:

[36mdocker-elk-logstash-1 |[0m [2024-02-27T20:17:38,066][INFO ][logstash.runner          ] Log4j configuration path used is: /usr/share/logstash/config/log4j2.properties
[36mdocker-elk-logstash-1 |[0m [2024-02-27T20:17:38,161][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"8.10.2", "jruby.version"=>"jruby 9.4.2.0 (3.1.0) 2023-03-08 90d2913fda OpenJDK 64-Bit Server VM 17.0.8+7 on 17.0.8+7 +indy +jit [x86_64-linux]"}
[36mdocker-elk-logstash-1 |[0m [2024-02-27T20:17:38,164][INFO ][logstash.runner          ] JVM bootstrap flags: [-Xms1g, -Xmx1g, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djruby.compile.invokedynamic=true, -XX:+HeapDumpOnOutOfMemoryError, -Djava.security.egd=file:/dev/urandom, -Dlog4j2.isThreadContextMapInheritable=true, -Dls.cgroup.cpuacct.path.override=/, -Dls.cgroup.cpu.path.override=/, -Xms256m, -Xmx256m, -Djruby.regexp.interruptible=true, -Djdk.io.File.enableADS=true, --add-exports=jdk.compiler/com.sun.tools.javac.api=ALL-UNNAMED, --add-exports=jdk.compiler/com.sun.tools.javac.file=ALL-UNNAMED, --add-exports=jdk.compiler/com.sun.tools.javac.parser=ALL-UNNAMED, --add-exports=jdk.compiler/com.sun.tools.javac.tree=ALL-UNNAMED, --add-exports=jdk.compiler/com.sun.tools.javac.util=ALL-UNNAMED, --add-opens=java.base/java.security=ALL-UNNAMED, --add-opens=java.base/java.io=ALL-UNNAMED, --add-opens=java.base/java.nio.channels=ALL-UNNAMED, --add-opens=java.base/sun.nio.ch=ALL-UNNAMED, --add-opens=java.management/sun.management=ALL-UNNAMED]
[36mdocker-elk-logstash-1 |[0m [2024-02-27T20:17:54,528][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600, :ssl_enabled=>false}
[36mdocker-elk-logstash-1 |[0m [2024-02-27T20:19:15,265][ERROR][logstash.agent           ] Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:main, :exception=>"LogStash::ConfigurationError", :message=>"Expected one of [ \\t\\r\\n], \"#\", \"input\", \"filter\", \"output\" at line 1, column 1 (byte 1)", :backtrace=>["/usr/share/logstash/logstash-core/lib/logstash/compiler.rb:32:in `compile_imperative'", "org/logstash/execution/AbstractPipelineExt.java:239:in `initialize'", "org/logstash/execution/AbstractPipelineExt.java:173:in `initialize'", "/usr/share/logstash/logstash-core/lib/logstash/java_pipeline.rb:48:in `initialize'", "org/jruby/RubyClass.java:931:in `new'", "/usr/share/logstash/logstash-core/lib/logstash/pipeline_action/create.rb:49:in `execute'", "/usr/share/logstash/logstash-core/lib/logstash/agent.rb:386:in `block in converge_state'"]}
[36mdocker-elk-logstash-1 |[0m [2024-02-27T20:19:15,569][INFO ][logstash.runner          ] Logstash shut down.
[36mdocker-elk-logstash-1 |[0m [2024-02-27T20:19:15,616][FATAL][org.logstash.Logstash    ] Logstash stopped processing because of an error: (SystemExit) exit
[36mdocker-elk-logstash-1 |[0m org.jruby.exceptions.SystemExit: (SystemExit) exit
[36mdocker-elk-logstash-1 |[0m 	at org.jruby.RubyKernel.exit(org/jruby/RubyKernel.java:795) ~[jruby.jar:?]
[36mdocker-elk-logstash-1 |[0m 	at org.jruby.RubyKernel.exit(org/jruby/RubyKernel.java:758) ~[jruby.jar:?]
[36mdocker-elk-logstash-1 |[0m 	at usr.share.logstash.lib.bootstrap.environment.<main>(/usr/share/logstash/lib/bootstrap/environment.rb:90) ~[?:?]
[36mdocker-elk-logstash-1 |[0m Using bundled JDK: /usr/share/logstash/jdk
[36mdocker-elk-logstash-1 |[0m Sending Logstash logs to /usr/share/logstash/logs which is now configured via log4j2.properties

Заранее спасибо за советы и помощь!

Comments

[mayton2019]

В логе есть одна очень длинная строчка. Вот если ее отформатировать будет так

Failed to execute action {
:action=>LogStash::PipelineAction::Create/pipeline_id:main, 
:exception=>"LogStash::ConfigurationError", 
:message=>"Expected one of [ \\t\\r\\n], \"#\", \"input\", \"filter\", \"output\" at line 1, column 1 (byte 1)", 
:backtrace=>["/usr/share/logstash/logstash-core/lib/logstash/compiler.rb:32:in `compile_imperative'", 
             "org/logstash/execution/AbstractPipelineExt.java:239:in `initialize'", 
             "org/logstash/execution/AbstractPipelineExt.java:173:in `initialize'", 
             "/usr/share/logstash/logstash-core/lib/logstash/java_pipeline.rb:48:in `initialize'", 
             "org/jruby/RubyClass.java:931:in `new'", 
             "/usr/share/logstash/logstash-core/lib/logstash/pipeline_action/create.rb:49:in `execute'", 
             "/usr/share/logstash/logstash-core/lib/logstash/agent.rb:386:in `block in converge_state'"]}

Выглядит так будто у тебя в одном конфиге ошибка. Проверь все измеенения конфигов что делались
недавно.

P.S. Ruby на Java.... :)

[Mad_User]

mayton2019, изменения делались только в одном конфиге и как я уже писал выше - проводился тест с заведомо исправным конфигом, результат к сожалению остался тот же

[FATAL][org.logstash.Logstash    ] Logstash stopped processing

[mayton2019]

Я думаю что твою ошибку проще всего ловить идя от обратного. Бери разворачивай новый
контейнер с дефолтной настройкой стеша.

У тебя все 100% поднимется потому что - дефолт.

Потом начинай 1 по 1 закидывать туда свои конфиги. И на каком-то этапе ты словишь этот баг.

[SunTechnik]

Mad_User,
Конфиг копировались как файлы или через редактирование и copy-past?

Ругается конкретно на первую строку первый символ конфига.
Там ожидается:
Или слова:
#
input
filter
output

Или табуляция и потом сразу перевод строки, причём в, формате DOS:
\\t\\r\\n

Что у Вас в первой строке?

[Mad_User]

SunTechnik, доброго времени суток!
Через редактирование и copy-past

Вот состав:

input {
      beats {
        port => 5044
      }
    }
    
    filter {
      if [message] =~ /Error/ {
        grok {
          match => { "message" => ["(?:Error:(?<error_exception>.*))"] }
        }
        mutate {
          add_field => { "[@metadata][zabbix_host_error]" => "%{[fields][hostname]}" }
          add_field => { "[@metadata][zabbix_key_error]" => "gate_error" }
          add_field => { "[@metadata][zabbix_msg_error]" => "%{message}" }
        }
      }
      }
    output {
      stdout { codec => rubydebug }
      } if [message] =~ /Error/ {
        elasticsearch {
          hosts => ["elasticsearch:9200"]
          user => "logstash_internal"
          password => "${LOGSTASH_INTERNAL_PASSWORD}"
          index => "error-%{+yyyy.MM.dd}"
        }
        zabbix {
          zabbix_host => "[@metadata][zabbix_host_error]"
          zabbix_server_host => "my_IP"
          zabbix_server_port => my_port
          zabbix_key => "[@metadata][zabbix_key_error]"
          zabbix_value => "[@metadata][zabbix_msg_error]"
        }
      }

[сергей кузьмин]

mayton2019, это логсташ - пишите в еластик что жи руби куку

[сергей кузьмин]

Mad_User, лог грязный - бросайте работать из виндоз: Г Ж

[Rsa97]

Mad_User,

Через редактирование и copy-past

Значит в начале файла может оказаться, например, BOM, который не попадает под допустимые символы конфига.

[Mad_User]

сергей кузьмин, что значит "бросайте"?)) Это не мой личный сервер)
С логом всё в порядке, проблема вообще не в конфиге была кстати

[сергей кузьмин]

Mad_User, а у вас разве нет домашнего сервера или кластера с filebeat logstash kibana elastic на котором вы учитесь этому добру ?
полезно иметь

а в чем именно была проблема кстати ?

[Mad_User]

сергей кузьмин, Нет, личного кластера к сожалению нет, так как не имеется такой возможности.
Проблема оказалась в том, что в ~/docker-elk/logstash/pipeline затесался лишний файл, оставленный там кем-то до меня, из-за чего у Logstash случился диссонанс в "мозгу" и он пытался обращаться к нему, как ко второму конфигу но не находил там ничего (куда собственно и был адресован message=>"Expected one of [ \\t\\r\\n], \"#\", \"input\", \"filter\", \"output\" at line 1, column 1 (byte 1)")

[сергей кузьмин]

похоже логасташ пытается проситать все что лежит в этой директории и обижается когда не подошло

\r\n указывает на винду. по моему не стоит использовать винду

[Mad_User]

сергей кузьмин, использовать винду для чего? В моём случае винда используется исключительно для VS Code, я через него SSH, мне так удобно. Сам elk-cluster не на винде конечно же.

По сабжу, да, логстэш пытался читать всё в директории /logstash/pipeline/ , при чем более того, я узнал как и когда туда попал этот лишний файл, и он там оказался уже после --build -d , но это всё равно ломает контейнер. Просто факт, которого я не знал, может быть это кому-нибудь поможет в будущем.

Answer 1

[Mad_User]

Решение:
В
~/docker-elk/logstash/pipeline
затесался кем-то вытянутый файл, которого там не должно было быть.
Все конфиги, логи, yml'ы - в полном порядке.

Answer 2

[Swuder]

Можно проверить конфиг файл Логстеша так:

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/logstash.conf --config.test_and_exit