Что можно почитать, чтобы разобраться с grafana?

Question

[Василий Банников]

Есть некоторые данные по посещениям пользователей сайта.
У каждого пользователя есть некоторый уникальный идентификатор и страна из которой он заходит.
Хочу отобразить в виде диаграммы количество уникальных пользователей в месяц в разрезе по странам.

Как подобное можно сделать и что нужно читать? Не понимаю, с какой стороны можно подступиться.

Данные о посещениях хранятся в монго, но я не хочу, чтобы дашборд нагружал основную базу.

Есть какие-нибудь варианты, чтобы я, например, на стороне своего приложения посчитал уже все метрики, чтобы в графане их надо было только нарисовать?
Какой график будет более нагляден?

Раньше с визуализацией данных никогда не работал.

Answer 1

[deepblack]

Типичный процесс выглядит так:
Telegraf (сборщик метрик) берёт необходимые метрики и кладёт их в time series БД (InfluxDB), у него куча встроенных плагинов и хорошая документация. Он может брать логи nginx и отправлять их в InfluxDB
InfluxDB - одна из time series БД (TSDB), отлично интегрируется с Telegraf'ом, и разрабатывается одной компанией. Есть Open Source вариант.
Дальше уже из TSDB с помощью Grafana вытягиваете нужные данные, группируете/фильтруете и отображаете в одном из плагинов.

Вместо Телеграфа (если стало скучно) можно написать кастомный коллектор метрик и класть их в инфлюкс. Я писал на питоне (чисто из интереса), но до этого всё было сделано через Телеграф.

Вопрос довольно общий, так что и ответ тоже без лишней конкретики.

Comments

[Василий Банников]

Вместо Телеграфа (если стало скучно) можно написать кастомный коллектор метрик и класть их в инфлюкс. Я писал на питоне (чисто из интереса), но до этого всё было сделано через Телеграф.

У меня в этом задача и заключается :)
> InfluxDB
Интересно, но тут графит.

Я правильно понял, что не нужно делать группировки/фильтрации на стороне сборщика и пусть это делает сама графана?

Вопрос довольно общий, так что и ответ тоже без лишней конкретики.

Ну я попытался максимальную конкретику дать.

[deepblack]

, но тут графит.

Я с ним не работал, но думаю для решения задачи это не принципиально.

Я правильно понял, что не нужно делать группировки/фильтрации на стороне сборщика и пусть это делает сама графана?

В целом да, вы из графаны формируете запрос, а ваша time series БД их отдает в нужном виде.

[Василий Банников]

Andrew D., а что нужно в time-series БД кидать в моём случае?
комбинацию Время-страна-пользователь?

[deepblack]

Василий Банников, В целом да, но по мне так лучше сохранять в БД максимум данных.

можно добавить дополнительные метрики, у меня например это было энергопотребление, напряжение, температура + еще кое какие данные. как пример на производстве: имеем емкость с датчиком веса, содержимое которой подаётся на ленту транспортёра (дополнительно указываем в качестве тегов фио работников смены) и эти данные сохраняются в БД. По итогу отображаем количество сырья переработанного за определённый период (за час или за смену) + есть исторические данные для сравнения. В том числе с разбивкой по сменам.

[Василий Банников]

Andrew D., Ок, спасибо.