Как собирать статистику внутри веб-приложения?

Question

[Nodge]

Возникла необходимость внутри веб-приложения собирать статистику по событиям относительно каждого пользователя. В дальнейшем, естественно, статистику нужно анализировать, так что нужны инструменты для работы с такими логами.

Понятно, что можно написать велосипед: записывать все в базу, потом написать интерфейс для анализа, либо ручками делать запросы к базе.

Тем не менее, может быть есть какие-то готовые решения, хорошие практики?
Может быть есть проекты наподобие Sentry (сервер агрегации ошибок), но для статистики?
Как вы решаете у себя подобные задачи?

Спасибо за ответы.

Answer 1

[Леонид]

У себя решили в лоб и таскаем из проекта в проект: табличка actions, куда пишется, user_id, штамп времени, код действия, результат или код ошибки, коммент, служебная инфа. Проблем не наблюдаем на >40 проектах.

Почему навелосипедили — потому что не смогли найти ничего, отвечающего требованиям по аналитике. Тут мы сами короли — что хотим: пишем, что хотим — анализируем, причём по таким срезам, по которым хотим. Была идея сделать из этого универсальный инструмент, но… как то руки не дошли.

Comments

[Nodge]

Спасибо за ответ.
А анализируете как: под каждый отчет пишется скрипт/интерфейс или более-менее универсальная админка сделана?

[Леонид]

Анализ такой:
1. Выясняем, что хотим анализировать (параметры) — ну, например, сколько пользователей после нажатия кнопки А дожидаются результата, а сколько нажимают на кнопку В (бизнес-логика есть такая: топаешь на кнопку, и можно дождаться ответа, а можно нажать Далее и выполнить другие действия, а результат 1 действия увидеть потом в отчёте)
2. Соответственно расставляем saveAction-ы в коде
3. Пишется полноценный отчёт под это конкретное действие — в этом отчёте есть возможность менять параметры (например, в нашем случае: даты, время, возраст пользователей....) — но эти параметры заранее оговариваются. Если возникает необходимость узнать: сколько женщин дожидаются ответа — дописываем вручную.

Универсальность в этом деле, на мой взгляд — дело очень тяжкое. Конечно, нет проблемы написать скриптик, который подтягивает все таблички, пользователь выбирает поля и связи… и происходит магия. Но нам проще потратить час-два на новый параметр в отчёте, чем потратитить месяц на универсальный инструмент :(

Answer 2

[shagguboy]

pinba?

Answer 3

[dbmaster]

Плантые варианты

papertrailapp.com/
loggly.com

Алтернатива
piwik.org/

Через piwik можно найти похожие вопросы habrahabr.ru/search/?q=piwik&target_type=qa

Comments

[safright]

Спасибо за наводку, задумываемся над таким функционалом, почему-то даже не пришло в голову поискать вменяемые решения, а не городить велосипед.

Answer 4

[LeoCcoder]

попробуйте гугль аналитикс. Мы ее частенько используем, и не только на сайтах, но и в мобильных приложениях для анализа поведения пользователя.

Comments

[Nodge]

GA используем для анализа поведения пользователей в целом.
Цель внутренней статистики привязывать все события к конкретному пользователю, а не к сессии/куке.
Не знаю, есть ли возможность в аналитике указывать, например, user_id для логируемых событий и в дальнейшем анализировать данные относительно определенного user_id?

[Леонид]

Соглашусь, что с помощью своих «переменных» можно отследжить сколько пользователей нажали кнопку, сколько после этого прошли дальше, но как узнать — who is who :) Этот нажавший — первый раз использует функцию, или юзает её каждый день, ну и тд.
Может я чего-то не знаю?

[LeoCcoder]

да в вашем случае видимо не совсем подойдет, ga разрешает собирать анонимную статистику.
А вообще это можно сделать с помощью custom variables, когда пользовател авторизовался — устанавливаете ему какойнить уникальный маркер и в аналитике события этого пользователя будут с этим маркером.

Answer 5

[Владимир Чернышев]

Пытался делать на РСУБД (MySQL), но не не понравилось — или под каждое событие нужно городить табличку или эмулировать scheme free. Проще взять настоящую scheme free СУБД, остановился на CouchDB. Не для конечного пользователя, но написать по быстрому view на JavaScript может почти любой фронтендер, после небольшого обучения специфики, конечно

Comments

[Владимир Чернышев]

P.S. А смотреть отчёты — дать ссылку, у кауча встроенный сервер.

Answer 6

[Евгений Селезнев]

пользуюсь mixpanel.com, рекомендую

Comments

[Eternalko]

Спасибо!

Answer 7

[mongohtotech]

Мы разрабатывали именно для таких задач OLAP систему. Система анализирует поведение пользователей в облачном сервисе.
Если описать кратко это выглядит так:
— Мы периодически загружаем информацию из логов сервиса в хранилище данных, содержащее таблицы с информацией об операциях пользователей (вход в систему, просмотр страницы, загрузка файла и т.д.)
— На основании хранилища строятся OLAP-кубы
— Доступ к OLAP возможен из Excel, либо напрямую через MDX запросы, например для публикации аналитики в своем приложении
— Все реализовали с помощью MS SQL Server
— Объемы данных — миллионы операций в день

Answer 8

[kuzemchik]

Думали о pinba, но в итоге пользуемся New Relic.

Answer 9

[Eternalko]

habrahabr.ru/qa/26351/
mixpanel