Почему в Elasticsearch как бэкенде Logstash у всех полей строковый тип?

Question

[Константин]

Здравствуйте.
Внедряем ELK-стек в инфраструктуру, пилотный запуск решили делать на access-логах nginx. Всё установили, настроили сбор, но как дело дошло до аналитики, оказалось, что нельзя делать никакие арифметические аггрегации в Kibana, после недолгого разбирательства оказалось, что все поля в ES имеют type: string и из-за этого нельзя сделать Sum или Avg.
Я специально пролистал кучу туториалов по установке ELK, но нигде явным образом маппинги не прописываются, из чего я могу сделать вывод, что у людей правильные типы есть "из коробки".
Вопрос: что мы сделали не так и как эту ситуацию можно исправить, не теряя уже собранные данные?

Answer 1

[index0h]

Вариант А: прописать темплейт в ElasticSearch
Вариант Б: прописать мутацию в Logstash

Comments

[Константин]

Хочется понимать: это нормальная ситуация, что нет маппингов из коробки, или мы всё-таки ошиблись при установке?

[index0h]

Маппинг генерируется динамически, но его можно установить / до установить вручную.
Logstash отправляет строку в ES, ES принял это за исходную и создал маппинг на этом поле, как строчное.
Собсно все. Передайте в индекс новые произвольные данные булевого типа, целого и с плавающей точкой, маппинг для них создастся с типами, которые вы передали.

[index0h]

Так что вы ошиблись в настройке logstash и не уточнили тип передаваемых данных

[Константин]

index0h: а где конкретно-то ошиблись? В grok передали правильный шаблон, с правильными типами. Где ещё _нужно_ было указывать типы?

[index0h]

Вообще говоря тяжело угадывать, что вы могли сделать не так, не видя конфиг logstash и текущий маппинг ES, телепаты в отпуске))

Проще всего проверить, что передает logstash на вывод. Если тип данных правильный в json, который идет на вход ES. Тогда обновите маппинг ES. Как вариант - можете пересоздать индекс.