возможно мой способ не самый правильный, но я его подчерпнул из оф. обучающего видео LS.
Создается дашбоард куда входят все интересующие Вас визуализации по группе.
когда в дашбоарде вы в одном из визуализизаторов выбираете определенное значение (простым щелчком по области этого значения), все остальные фильтруются по этому фильтру.
полезный интерактив )
voe:
"The Beats shipper automatically sets the type field on the event. You cannot override this setting in the Logstash config. If you specify a setting for the type config option in Logstash, it is ignored." https://www.elastic.co/guide/en/logstash/5.0/plugi...
Pasha Khorikov: Павел, зависит от объема данных, сроков хранения и того сколько человек и как будет с этим работать.
Оссобенность Apache Lucene (движок ELK) является потребление избыточного, по сравнению с традиционными метричискими хранилками, потребление дискового пространства.
могу посоветовать мониторить загрузку по событиям и скорость индексирования, и если показатели будут расти выделять отдельный сервер, в кластере или просто отдельный сервер.
Сколько у вас документов в секунду приходит на сервер?
Pasha Khorikov: доброго дня, beats собирает данные и передает их на LS для дополнительной обработки или на ES
вот тут (https://www.elastic.co/guide/en/beats/libbeat/curr... ) есть поясняющая концепцию картинка.
Т.е. ES будет выступать как хранилище данных. Визуализация может быть как средствами Kibana, так и напрмер Grafana.
посоветовать что то конкретное без дополнительных данных сложно.
из общих соображений это память и быстрые диски на сервере обработки (и возможно отдельный сервер стека, зависит от объема данных) и может брокер Редиса или РебитМКю для предотвращения потери данных на этапе получения и первичной обработки.
По совему (не самомму большому) опыту могу сказать, что хорошая визуализация прямо зависит от правильности подготовки данных.
Для ES например это индексы.
В вашем случае это то как данные представлены в "сыром" виде и как их придется обрабатывать перед отдачей в систему визуализации. Именно на это уходит время в подобных проектах (хотя возможно я "... просто не умею их готовить")
Вопрос в следующем, а почему Вы не хотите использовать инстумены для визуализации именно метрических данных. Тот же Graphite + Grafana например?
По директору надо писать Томасу. Или на monitoring-portal.org в соответствующую ветку. Ребята отвечают оперативно )))
Или тут, возможно коллеги смогут помочь ))
Создается дашбоард куда входят все интересующие Вас визуализации по группе.
когда в дашбоарде вы в одном из визуализизаторов выбираете определенное значение (простым щелчком по области этого значения), все остальные фильтруются по этому фильтру.
полезный интерактив )