Ответы пользователя по тегу Logstash
  • Как парсить лог с помощью Logstash?

    Я советовал бы вам через фильтр разбить message на части полностью, как привет вот так делают для IIS логов
    grok {
        # check that fields match your IIS log settings
        match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IPORHOST:site} %{WORD:method} %{URIPATH:page} %{NOTSPACE:querystring} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clienthost} %{NOTSPACE:useragent} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:scstatus} %{NUMBER:time_taken}"]
      }

    Вы отправляйте в базу всё сообщение, но поля сделайте какие вам нужно, и по которым потом будете делать фильтр и дашборды. Написак сам grok - советовал бы воспользовашись дебаггером https://grokdebug.herokuapp.com/
    Также сразу НЕ смотреть в кибану, а разобраться с elasticsearch. Для начало идем смотреть ролик https://www.youtube.com/watch?v=7FLXjgB0PQI а также поставить себе Sense в хром и научиться писать запросы.
    Также я вижу вы все сообщения отправляете не только в базу но и в файл:
    file {
    path => «/srv/LOG/LOG_all/all.oblast.log»
    }

    Он пустой или в нем есть сообщения?
    Ответ написан
    Комментировать