Kibana: Как декодировать русские буквы в веб логах?

Question

[SlavikF]

Поставил ELK (ElasticSearch с обвязкой).
Шлю туда логи с Nginx веб-сервера: Filebeat шлёт сразу в ElasticSearch.
Всё работает.
Но так как многие файлы на веб-сервере (и соответсвенно URL) имеют русские названия, то в Kibana всё выглядит не очень:



Есть ли какие-то способы декодировать url.original, чтобы показывались русские буквы?
Я даже не знаю, какой термин нужно гуглить - "декодировать"? "преобразовывать"?
И кто это должен делать - Kibana? Filebeat?
Или нужно прикручивать Logstash?

Answer 1

[chupasaurus]

URL Decode есть и в пайплайнах самого Elasticsearch.

Comments

[SlavikF]

Это идеальное решение.

Решение:
1) Посмотреть все pipelines:
elk.slavikf.com:9200/_ingest/pipeline

2) Выбрать нужную и получить её JSON через GET:
elk.slavikf.com:9200/_ingest/pipeline/filebeat-7.2...

3) К JSON добавить процессор и отправить PUT:

{
        "processors": [
...
            {
                "urldecode" : {
                  "field" : "url.original",
                  "target_field":"url.utf",
                  "ignore_missing": true
                }
            }
        ],
        "on_failure": [
...
}

Результат:

Answer 2

[Moskus]

https://www.elastic.co/guide/en/logstash/current/p...

Comments

[SlavikF]

Спасибо. Похоже, это то, что надо.
Вот только надо ставить Logstash... :-(

Интересно, можно ли это делать в Filebeat или Kibana?

[Moskus]

SlavikF, ну вы уже знаете, как называется то, что вам нужно сделать (странно, что раньше не знали, это всё же основы), можете теперь поискать другие варианты.