Как создать raw поля для кастомных индексов логсташа?

Question

[zdravnik]

Добрый день.
По началу использовал дефолтный индекс logstash-*, в котором кроме основных полей создавались еще raw поля.
Решил часть данных складывать в отдельный индекс. Почитал доки и вроде бы все настроил как надо, в итоге в еластике имею разбивку на необходимые мне поля, но при этом отсутствуют raw поля которые удобно использовать для дашбоардов.
Мой output конфиг

output {
if [Alert_Analyzer_Name] == "ossec" {
elasticsearch {
hosts => "127.0.0.1:9200"
index => "logstash-%{+YYYY.MM.dd}"
template_overwrite => "true"
}
}

if [type] == "weblog" {
elasticsearch {
hosts => "127.0.0.1:9200"
index => "weblog-%{+YYYY.MM.dd}"
template_overwrite => "true"
}
}
}

curl -XGET localhost:9200/_template/logstash*
{"logstash":{"order":0,"template":"weblog-*","settings":{"index":{"refresh_interval":"5s"}},"mappings":{"_default_":{"dynamic_templates":[{"message_field":{"mapping":{"index":"analyzed","omit_norms":true,"type":"string"},"match_mapping_type":"string","match":"message"}},{"string_fields":{"mapping":{"index":"analyzed","omit_norms":true,"type":"string","fields":{"raw":{"ignore_above":256,"index":"not_analyzed","type":"string"}}},"match_mapping_type":"string","match":"*"}}],"_all":{"omit_norms":true,"enabled":true},"properties":{"geoip":{"dynamic":true,"type":"object","properties":{"location":{"type":"geo_point"}}},"@version":{"index":"not_analyzed","type":"string"}}}},"aliases":{}}}

curl -XGET localhost:9200/_template/weblog*
{"weblog-*":{"order":0,"template":"logstash-*","settings":{"index":{"refresh_interval":"5s"}},"mappings":{"_default_":{"dynamic_templates":[{"message_field":{"mapping":{"index":"analyzed","omit_norms":true,"type":"string"},"match_mapping_type":"string","match":"message"}},{"string_fields":{"mapping":{"index":"analyzed","omit_norms":true,"type":"string","fields":{"raw":{"ignore_above":256,"index":"not_analyzed","type":"string"}}},"match_mapping_type":"string","match":"*"}}],"_all":{"omit_norms":true,"enabled":true},"properties":{"geoip":{"dynamic":true,"type":"object","properties":{"location":{"type":"geo_point"}}},"@version":{"index":"not_analyzed","type":"string"}}}},"aliases":{}},"weblog":{"order":0,"template":"logstash-*","settings":{"index":{"refresh_interval":"5s"}},"mappings":{"_default_":{"dynamic_templates":[{"message_field":{"mapping":{"index":"analyzed","omit_norms":true,"type":"string"},"match_mapping_type":"string","match":"message"}},{"string_fields":{"mapping":{"index":"analyzed","omit_norms":true,"type":"string","fields":{"raw":{"ignore_above":256,"index":"not_analyzed","type":"string"}}},"match_mapping_type":"string","match":"*"}}],"_all":{"omit_norms":true,"enabled":true},"properties":{"geoip":{"dynamic":true,"type":"object","properties":{"location":{"type":"geo_point"}}},"@version":{"index":"not_analyzed","type":"string"}}}},"aliases":{}}}

При этом в logstash-* индексах raw поля присутствуют, а в индекс weblog-* их нет.
Использую логсташ 2.3 и эластик 2.3
Перепробовал кучу рецептов, но ничего не помогло, возможно я чего-то не понимаю.

Answer 1

[Алексей Черемисин]

Берем сеттинги и маппинг у старого индекса.

GET logstash-my-old-index/_settings
GET logstash-my-old-index/_mapping

После этого в маппинге ищем определение "fields": {"raw": "not_analyzed"}
Должно быть что-то типа этого

....
"myfield" : {
   "type": "string",
   .....
   "fields": {
      "raw": { "type" :"string", "index": "not_analyzed"}
    }
}
....

Пример: https://www.elastic.co/guide/en/elasticsearch/guid...
Описание: https://www.elastic.co/guide/en/elasticsearch/refe...

Comments

[zdravnik]

Если честно не понял о чем речь, можно более подробно объяснить пожалуйста

[Алексей Черемисин]

Эластик может автоматически создавать дополнительные поля.
Например, у тебя есть поле myfield, которое стандартно индексируется и анализируется каким нибудь аналайзером. Маппинг его выглядит так

...
"myfield" : {
   "type": "string",
}
<code>
Ты хочешь сохранить  возможность бегать по этому полю в чистом виде по дополнительному аттрибуту <b>raw</b>, как <b>myfirld.raw</b>. Эластик помогает в этом, копируя твое поле в дополнительные поля. Для этого в описании поля нужно добавить атрибут  "fields".
<code>
"myfield" : {
   "type": "string",
   .....
   "fields": {
      "raw": { "type" :"string", "index": "not_analyzed"}
    }
}
</code>
Здесь мы определили дополнительный атрибут  raw у атрибута  myfiled, который не будет индексироваться и будет содержать значение поля myfield в неизменном виде

[zdravnik]

Алексей Черемисин: это я понял. попробовал сделать так
output {
if [Alert_Analyzer_Name] == "ossec" {
elasticsearch {
hosts => "127.0.0.1:9200"
index => "logstash-%{+YYYY.MM.dd}"
template => "/opt/logstash/custom_pattern/elasticsearch-template_logstash.json"
template_name => "logstash"
template_overwrite => "true"
}
}

if [type] == "weblog" {
elasticsearch {
hosts => "127.0.0.1:9200"
index => "logstash-weblog-%{+YYYY.MM.dd}"
template => "/opt/logstash/custom_pattern/elasticsearch-template_weblog.json"
template_name => "weblog"
template_overwrite => "true"
}
}
}

Где elasticsearch-template_weblog.json и elasticsearch-template_logstash.json это копия /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-output-elasticsearch-2.7.0-java/lib/logstash/outputs/elasticsearch/elasticsearch-template.json , только для elasticsearch-template_weblog.json исправил "template" : "logstash-*", на "template" : " weblog-*", ,а elasticsearch-template_logstash.json это прям копия. и вот нифига не работает. Почему? Уже несколько дней с этим сижу никак не пойму

[zdravnik]

Алексей Черемисин: Добился того что по запросу curl -XGET localhost:9200/_template/?pretty=trye у меня выходит два шаблона один "weblog" : {
"order" : 0,
"template" : "weblog-*",
в котором есть "fields" : {
"raw" : {
"ignore_above" : 256,
"index" : "not_analyzed",
"type" : "string"
}
и

"logstash" : {
"order" : 0,
"template" : "logstash-*",

в котором есть

"fields" : {
"raw" : {
"ignore_above" : 256,
"index" : "not_analyzed",
"type" : "string"
}

Но raw полей в кибане я по прежнему не вижу. Почему их нет, я неудоумеваю

[Алексей Черемисин]

zdravnik: как добился? еще хорошо бы поставить "store"=true

"fields" : {
"raw" : {
"ignore_above" : 256,
"index" : "not_analyzed",
"type" : "string",
"srore" : true
}

[zdravnik]

Алексей Черемисин: ВОт так:
output {
if [Alert_Analyzer_Name] == "ossec" {
elasticsearch {
hosts => "127.0.0.1:9200"
index => "logstash-%{+YYYY.MM.dd}"
template => "/opt/logstash/custom_pattern/elasticsearch-template_logstash.json"
template_name => "logstash"
}
}

if [type] == "weblog" {
elasticsearch {
hosts => "127.0.0.1:9200"
index => "weblog-%{+YYYY.MM.dd}"
template => "/opt/logstash/custom_pattern/elasticsearch-template_weblog.json"
template_name => "weblog"
}
}
}

"store"=true, что дает? Тут понимаешь шаблоны то я брал копия исходного шаблона самого свежего логсташа, почему же они не работают?

Почему эти чертовы raw поля не мапятся хотя в шаблоне есть. ОЧень странно.

[zdravnik]

Алексей Черемисин: Кстати где дока по elasticsearch-template.json , что- то не могу найти ?

[Алексей Черемисин]

zdravnik: Я логсташ не знаю! Я сам только в эластике начал разбираться, но использую его не для логов. Маппинги ручками пишу, и не на руби :-( А что эти теплейты из себя представляют? Я так подозреваю, что это дефолтные маппинги для индексов логсташа.
Если это теплейте дефолтных маппингов, то работают они следующим образом. Если создаваемый индекс подпадает под определение маппинга, то к нему применяется этот маппинг. Документация на это здесь - https://www.elastic.co/guide/en/elasticsearch/refe...

[zdravnik]

Алексей Черемисин:
ДА, это дефолтные маппинги для индексов логсташа. Выглядит так:
cat elasticsearch-template.json
{
"template" : "logstash-*",
"settings" : {
"index.refresh_interval" : "5s"
},
"mappings" : {
"_default_" : {
"_all" : {"enabled" : true, "omit_norms" : true},
"dynamic_templates" : [ {
"message_field" : {
"match" : "message",
"match_mapping_type" : "string",
"mapping" : {
"type" : "string", "index" : "analyzed", "omit_norms" : true,
"fielddata" : { "format" : "disabled" }
}
}
}, {
"string_fields" : {
"match" : "*",
"match_mapping_type" : "string",
"mapping" : {
"type" : "string", "index" : "analyzed", "omit_norms" : true,
"fielddata" : { "format" : "disabled" },
"fields" : {
"raw" : {"type": "string", "index" : "not_analyzed", "ignore_above" : 256}
}
}
}
} ],
"properties" : {
"@timestamp": { "type": "date" },
"@version": { "type": "string", "index": "not_analyzed" },
"geoip" : {
"dynamic": true,
"properties" : {
"ip": { "type": "ip" },
"location" : { "type" : "geo_point" },
"latitude" : { "type" : "float" },
"longitude" : { "type" : "float" }
}
}
}
}
}
}

Соответсвенно я их скопировал и заменил строку "template" : "logstash-*", на нужное мне имя то есть должно работать по сути ведь по дефолту raw поля есть.

"Если создаваемый индекс подпадает под определение маппинга, то к нему применяется этот маппинг" ну индексы в output конфиге логсташа я прописал index => "logstash-%{+YYYY.MM.dd}" и index => "weblog-%{+YYYY.MM.dd}" и по факту в эластике они такие и есть. Шаблон я тебе тоже показал и как мне кажется он вполне соответствует индексам моим. Но почему то не срабатывает шаблон, то ли бага то ли фича.

[Алексей Черемисин]

Дока по маппингам на сайте эластика. store=true делает сохраняемым данное поле в документе, иначе его можно будет задействовать в поиске, а вот значение из него посто так не получить.

[Алексей Черемисин]

Да и дефолтные темплейты должны быть привязаны в эластике - https://www.elastic.co/guide/en/elasticsearch/guid...

[zdravnik]

Алексей Черемисин: Спасибо за ссылки, они мне все равно пригодятся. Ничего ночью не крутил, а утром смотрю raw поля появились. И появились они ровно тогда когда индекс weblog-2016.06.20 закончился и начался индекс weblog-2016.06.21, то есть при неизменной конфигурации raw поля появились только после ротации индексов. Значит мой output конфиг правильный. Остается вопрос почему этот конфиг сразу не работал как надо? Может надо было в ручную курлом что-то дернуть в эластике чтоб все заработало как надо не дожидаясь ротации. Есть мысли?

[Алексей Черемисин]

Ах, ну да, маппинг для существующего индекса не работает, только при создании нового! Другими словами, сначала создаем пустой индекс, затем маппинг, после этого пишем данные. Или сначала шаблон с маппингом, затем индекс по шаблону, далее пишем данные. В некоторых случаях маппинг можно обновить у существующего индекса, перед добавлением нового поля, но не иначе, так что обычно просто пересоздают индекс заново.

[zdravnik]

Алексей Черемисин: "В некоторых случаях маппинг можно обновить у существующего индекса, перед добавлением нового поля, но не иначе" Как?
"так что обычно просто пересоздают индекс заново." - ну а если у меня уже есть индекс за день в котором приличное количество данных, и тут я обновил шаблон в середине дня, как быть в такой ситуации?

[Алексей Черемисин]

Создать новый индекс! А к старому прикрутить alias. Но я не уверен, что это прокатит с логсташем. По идее он тоже должен алиасы создавать - https://www.elastic.co/guide/en/elasticsearch/refe...

[Алексей Черемисин]

А может быть сам логсташ умеет анализировать появление новых полей и пересоздавать индексы. Я в логсташе не понимаю :-(