Как создать админку для Node?

Question

[heducose]

Как создать административную панель со статистикой для сайта с бекендом на NodeJS?
Я понимаю, часть выполняют маркетинговые трекеры и тд.
Но я немного о другом. Вот навскидку вопросы:

1. Например, статистика логинов в целом и по юзеру конкретно, в целом посещения, клики по определенным элементам.

2. Как это все в целом организовывается? Я так полагаю, это все сохраняется в базу (у меня Монга сейчас) и потом прикручивается к GUI админки?

3. Какие библиотеки нужны, какие решения есть?

4. Логгеры таким образом помогают, например? Их можно использовать для сбора юзер агентов например? Что еще ими можно собирать?

5. Можно же прикрутить проверку и запись IP, геолокацию? Сильно это будет грузить все сервер?

6. Что вообще можно собирать средствами Ноды и модулей?

Comments

[Николай Глушков]

Кажется вы пытаетесь усложнить, или не до конца разобрались с возможностям google analytics
Какие именно отчеты вы не можете там построить?
"Статистика логинов в целом и по юзеру конкретно" - передаете user id как кастомный параметр, настраиваете событие и цель авторизация

"в целом посещения, клики по определенным элементам." Так же делается стандартными средставми google analytics

[heducose]

Николай Глушков: да, я не разбирался в продвинутом ипользовании Гугл Аналитикс. Как передавать user id? В query? У меня, например, юзер просто нажимает LOGIN, делает POST на /login, и взамен получает JWT токен. Вы предлагаете его куда-то дополнительно редиректить? Как скормить это Гуглу?

Ну и в целом, я интересуюсь для более гибкой настройки. К тому же Гугл, замечено, работает совсем не в реал-тайм. Да и не хочу я например ничего от Гугла устанавливать, что тогда делать?

[heducose]

И да, насчет усложнения, по моему интерфейс Гугл Аналитикс и океан непонятных опций сложней, чем написать кастомную логику на Ноде.

[Николай Глушков]

heducose: каждому свое)
Просто аналитикс очень мощный в этом плане инструмент, разрабатывающийся долгие годы.
В котором предусмотреео множество возможностей, доп функций и элементов визуализации, в том числе через bi системы.
К тому же он понятен большей части маркетологов и аналитиков, которые как раз и используют статистику по сайту

[Николай Глушков]

heducose: что касается user id, передается он через код после каждой авторизации
И при последующих событиях
Скорее всего он у вас будет храниться в куках или local storage
Вот тут написано как это делать
https://support.google.com/analytics/answer/270982...

[Даша Циклаури]

Николай Глушков: а разве аналитикс раскрывает конкретных пользователей? то есть можно будет увидеть что пользователю А соответствуют множество параметров Set1(User-agent, IP, Login-count)? мне казалось что они не раскрывают инфу пользователя, а только учитывают её при агрегации, не так?

[Николай Глушков]

Даша Циклаури: Вы можете передавать эти данные так же через кастомные параметры
И строить нестандартные отчеты по ним
Правда при больших объемах данных начнется семплинг, но и его можно обойти
К тому же в Ga сейчас есть user explorer, там можно по каждому client id узнать каждый шаг отдельного пользователя

Answer 1

[Larisa Moroz]

1. Статистику логинов и т.п. пишете в монгу, хотя можно извернуться и создать такой API при котором все можно будет автоматически логировать в файлы на более низком (и соответственно, менее грузящем систему) уровне (см. п. 4 )
2. Да
3. Можно написать админку «с нуля» отдельным backend-модулем на JS, можно использовать готовые библиотеки (типа React.js ) и почти готовые модули (типа https://simov.github.io/express-admin/ ), к которым только дописать свой GUI
4. Логгеры, конечно, помогут, но они работают довольно медленно по сравнению со встроенной в http-сервер (NGINX, например) возможностью логирования всех запросов (там и IP, и user-agent и много чего)
5. Можно. Будет грузить. Хотя многое зависит от посещаемости, от сервера и его настроек (память, тип диска, выбор файловой системы и т.п.…)
6. Долго перечислять. Просто напишите, что вам нужно и получите ответ — можно или нет.

P.S.: По трудоёмкости настроить какой-нибудь google analytics или yandex будет, конечно, проще и быстрее.
Но трекеры блокируются определённым % клиентов (антивирусы, ad-block и т.п.…), соответственно, статистика будет неточной.
Сервером и своим клиентским скриптом можно будет собрать 100% статистики.

Comments

[heducose]

1 и 4 - а как тогда совместить это (уровень HTTP-сервера) с сохранением в БД и выводом на фронт через API на Ноде?
3. Это ж вроде просто фронтенд библиотека. В том-то и дело, что если я начинаю гуглить этот вопрос, то попадается один фронт, который куда-то прикручивается. Меня интересует именно бекенд часть, как это спроектировать, организовать?

Как вообще совместить решения на разных платформах? Как они взаимодействуют?

[Larisa Moroz]

Как спроектировать:
1. Определяете для себя, что хотите видеть в админке
2. Согласно п.1 выясняете какие данные хотите собирать и обрабатывать
3. Определяете, где каждая группа данных из п.2 будет храниться (что-то в http-логах, что-то в mongo)
4. Определяетесь со структурой API: какие запросы вам нужны и в каком виде будут выдаваться результаты, типа:
/users/all вывести всех пользователей
/useragents/ вывести все user-agent-ы
/useragents-stats/ вывести статистику по user-agent-ам
/users/1/logins — вывести историю авторизаций пользователя с ID 1
и т.п.…
5. Пишете соответствующие модули, которые по запросу собирают и обрабатывают данные из мест п.3
4.1. http-логи можно будет по cron-у обрабатывать раз в несколько часов/минут и результат класть в тот же mongo
6. пишете соответствующие api-функции для выборки, аггрегации и т.п. данных из mongo
7. Пишете и прикручиваете фронтенд, который делает запросы к вашему API

[heducose]

Larisa Moroz: отлично, вот это уже прям руководство к действию. буду пробовать разбираться в этом, спасибо.

[Николай Глушков]

Larisa Moroz: А откуда информация о блокировки антивирусами и адблоком
Google Analytics?
Есть какие то подтверждающие эту информацию ссылки, или это личные наблюдения?
Просто никогда о таком не слышал.
Как это технически реализовано?
Блокировкой http запросов вида https://www.google-analytics.com/r/collect
?

[Larisa Moroz]

Николай Глушков:
1. помимо ad-block-а есть куча расширений, типа Disconnect
2. многие антивирусы имеют в настройках возможность блокировать сторонние скрипты (в первую очередь маркетинговые)

[Larisa Moroz]

Да, перехватываются и блокируются запросы по списку, указанному в настройках расширения.
Вот как выглядит консоль браузера при банальном включенном ad-block-е:


Блокируется и google analytics и яндекс.метрика и т.п.…

[Николай Глушков]

Larisa Moroz: странно захожу например на https://habrahabr.ru/
Ни Adblock ни adblock plus не заблокировали GA.
У вас специально в настройках отключены эти трекеры?
Или это настройка по умолчанию?
Какой расширение используете?можно ссылку?

[heducose]

Николай Глушков: у меня uBlock Origin, на Хабре порезал Яндекс с дефолтными настройками.

[Larisa Moroz]

Николай Глушков:
1. adblock plus, при установке импортировался https://easylist-downloads.adblockplus.org/advblock.txt
2. Disconnect

Answer 2

[Виталий]

https://github.com/marmelab/admin-on-rest
Вот интересная штука

Comments

[heducose]

Так это фронт. Меня интересует как на бэке (Нода) все устроено?

[Виталий]

heducose: тупо апи

[heducose]

Виталий: лол, так я и спрашиваю как это тупо апи создавать, алгоритм, библиотеки, что можно собирать. Вы вопрос читали?

[Виталий]

heducose: коа или экспресс, контроллере запрос к бд, все.

[heducose]

а ну теперь все понятно
жесть

[Виталий]

heducose: ты тролль что-ли?

[heducose]

Виталий: ты Кличко что-ли? Зачем так жестко капитанить?

[Виталий]

heducose: ясно, каникулы, мозг отдыхает.

[heducose]

я так и понял по тебе.