Как построить запрос Elasticsearch?

Question

[onedmgoflthl]

Приветствую, господа!
Есть ELK-стак версии 5.0
С разных серверов шлются многострочные события в один индекс. Одна из метрик - состояние, "LaneIndic".
Как правильно построить запрос, в котором я для каждого сервера вытащу последнее значение этого состояния?
Таким запросом я получаю последнее значение LaneIndic, среди всех серверов.

GET /logstash-test-06/log/_search?
{
   "_source": ["beat.hostname", "LaneIndic", "@timestamp"],
    "query" : {
        "match_all": {}
    },
    "size": 1,
  "sort": [
    {
      "@timestamp": {
        "order": "desc"
      }
    }
  ]
}

А вот как получить тоже самое, но для каждого уникального значения beat.hostname?

Answer 1

[Алексей Черемисин]

Скорее всего нужно делать агрегацию.
Сначала агрегируете по "beat.hostname" с order = "@timestamp"
Затем по LaneIndic, size=1
Примерно так:

{
    "aggs" : {
        "host" : {
            "terms" : {
                "field" : "beat.hostname"
            },
            "aggs" : { "size":1,
                "lane" : { "terms" : { "field" : "LaneIndic" }, "order" : { "@timestamp" : "desc" }}
            }
        }
    }
}

Comments

[onedmgoflthl]

Это выглядит логично, спасибо!
Одна проблема, строка "lane" : { "terms" : { "field" : "LaneIndic" }, "order" : { "@timestamp" : "desc" }}
дает ошибку Found two aggregation type definitions in [lane]: [terms] and [order]
Добрался до запроса:
"aggs" : {
"host" : {
"terms" : {
"field" : "beat.hostname.keyword"
},
"aggs" : {
"lane" : {
"terms" : {
"field" : "LaneIndic.keyword",
"size": 1
}}}}}}
Дает все серверы, но со значением LaneIndic, которых больше всего. Чувствую истина где-то рядом, но куда бы я ордер и сорт не втыкал, валятся ошибки.

[Алексей Черемисин]

попробовать воткнуть еще одну агрегацию по '@timestamp' size=1 между хостами и значениями. Итого сначала агрегируются все хосты, потом по ним агрегируются все таймстампы и вытащатся самые последние, а потом от каждого таймстампа возьмется значение.

[onedmgoflthl]

Спасибо огромное!
Такой итог:
"aggs" : {
"host" : {
"terms" : {
"field" : "beat.hostname.keyword"
},
"aggs" : {
"timest" : {
"terms" : {
"field" : "@timestamp",
"order" : { "_term" : "desc"},
"size" :1
},
"aggs" : {
"lane" : {
"terms" : {
"field" : "LaneIndic.keyword"
}
}
}
}
}
}
}

[Алексей Черемисин]

onedmgoflthl: О! Спасибо! Скопирую к себе!

Answer 2

[un1t]

Например так:
вместо

"query" : {
    "match_all": {}
},

вставить

"query" : {
    "match": {"beat.hostname": "имя сервера"}
},

Comments

[onedmgoflthl]

Благодарю!
Но таким образом я получу значение для одного заданного сервера, а нужно для всех уникальных какие есть.

[un1t]

В таком случае нужна top hits агрегация https://www.elastic.co/guide/en/elasticsearch/refe...