А можно ли отрисовывать на стеке Elasticsearch + Logstahs + Kibana не только логи?

Question

[Pavel Khorikov]

А можно ли на основе этого стэка визуализировать данные не только из логов, скажем, еще и какую угодно другую информацию, например, статистику продаж (или что угодно другое)? Сейчас на бэкэнде это делается через highchart кажется, не хочется плодить огород из технологий. По сути, мне кажется, возможным отдать в elasticssearch статистику какую угодно, а не только log'и? Кто-нибудь пробовал? Поделитесь опытом, пожалуйста.

Comments

[Абдулла Мурсалов]

Вполне. Удобство использования такой связки, конечно, зависит от конкретных задач, но я думаю, диапазон довольно широкий. Тем более, статистика это по сути и есть логи.

[Pavel Khorikov]

Абдулла Мурсалов: а вы уже реализовывали что-то подобное? Логи должны формироваться в определнном формате или парсится будет любой формат логов?

Answer 1

[Павел Козлов]

Доброго дня,
Да можно. Если вы посмотрите на линейку Beats, то через неё и реализована возможность добавления метрических данных.
Плюс богатый арсенал плагинов для LS: netflow, sflow, graphite.

Мы используем визуализацию netflow статистики и этого хватает.

Но для визуализации даных, из разных систем, для внутренних и внешних заказчиков используется связка Graphite => Grafana <= ES, Zabbix => Grafana

Многое в выборе инструмента зависит от ТЗ. Что вы хотите видеть и какую математическую или статистическую обработку должны пройти данные.

Comments

[Pavel Khorikov]

Спасибо!

[Pavel Khorikov]

Павел Козлов мы хотим получать графическую информацию не только по нагрузкам но и по ведению статистики - от посещаемости до продаж, то есть кто сколько времени в каких категориях покупательная активность в ообщем, все что может быть полезно после анализа информации - нужно.
Линейка beats она работает как? ELK+Beats Или достаточно только beats из коробки? Ну и по внедрению связки этой много вопросов - стоит ли выносить сбор статистики в отдельный сервер (как это все внедряется "по уму"? для мониторинга в режиме реального времени? Как получать детализацию работы того или иного функционала - например, смотреть сколько сейчас активных корзин и так далее - хотим знать асболютно все и в режиме реального времени, детали, к сожалению, пока не подьехали от маркетологов, но в общих чертах так.). Спасибо.

[Павел Козлов]

Pasha Khorikov: доброго дня, beats собирает данные и передает их на LS для дополнительной обработки или на ES
вот тут (https://www.elastic.co/guide/en/beats/libbeat/curr... ) есть поясняющая концепцию картинка.
Т.е. ES будет выступать как хранилище данных. Визуализация может быть как средствами Kibana, так и напрмер Grafana.
посоветовать что то конкретное без дополнительных данных сложно.
из общих соображений это память и быстрые диски на сервере обработки (и возможно отдельный сервер стека, зависит от объема данных) и может брокер Редиса или РебитМКю для предотвращения потери данных на этапе получения и первичной обработки.
По совему (не самомму большому) опыту могу сказать, что хорошая визуализация прямо зависит от правильности подготовки данных.
Для ES например это индексы.
В вашем случае это то как данные представлены в "сыром" виде и как их придется обрабатывать перед отдачей в систему визуализации. Именно на это уходит время в подобных проектах (хотя возможно я "... просто не умею их готовить")

Вопрос в следующем, а почему Вы не хотите использовать инстумены для визуализации именно метрических данных. Тот же Graphite + Grafana например?

[Pavel Khorikov]

Павел Козлов: благодарю Вас за исчерпывающий ответ. Почему же? Мы планируем хрнаить и метрические данные в том числе. Желание отрисовывать и выводить статистику не только по метрическим данным но и по маркетинговым, скажем, обусловлено тем, что не хочется (если можно на стеке ELK+ something else - Beats, etc) отрисоввывать и эту статистику, то почему бы нет? Только поэтому. А так да, там и метрики будут храниться тоже, естесственно.

[Pavel Khorikov]

Павел Козлов: и еще такой вопрос - имеет ли смысл выносить все это на отдельный сервер? Как лучше организовтаь сбор обработку и отрисовку всей статистики? Спасибо.

[Павел Козлов]

Pasha Khorikov: Павел, зависит от объема данных, сроков хранения и того сколько человек и как будет с этим работать.
Оссобенность Apache Lucene (движок ELK) является потребление избыточного, по сравнению с традиционными метричискими хранилками, потребление дискового пространства.
могу посоветовать мониторить загрузку по событиям и скорость индексирования, и если показатели будут расти выделять отдельный сервер, в кластере или просто отдельный сервер.
Сколько у вас документов в секунду приходит на сервер?

[Pavel Khorikov]

Павел Козлов: Пока затрудняюсь ответить сколько документов будет подьезжать на стек (ELK + Beats) - еще нет четкоого понимания как будет устроен процесс логирования, формируем только требования к внедрению стека. Работать с этими данными будет человек 10-15. У нас технически есть возможность выделить под мониторинг отдельный сервер, наверное, так и сделаем.