Может кто из админов подсказать годное решение для снятие статистики httpd?

Question

[Искатель]

Ищу годное решение для снятие статистики httpd, чтобы можно было из неё получать данные для конкретного сайта: число хитов, объём трафика, IP-адреса посетителей с анализом по подсетям и странам, статистика по User-Agent, вычисление времени пребывания пользователя на сайте, возможность строить графики и диаграммы, также нужна возможность отображать нагрузку на сайт в реальном времени либо смотреть нагрузку в момент времени t.

Из того что нагуглил, только mod_performance, awstats, webalizer и им подобные, мне такое не подходит по той причине, что эти программы в момент запроса к ним берут данные из access_log, если у меня настроен logrotate, который периодически обнуляет access_log, то и статистика тоже будет обнуляться, нужна программа, которая в момент запроса берёт данные не из access_log, а из собственной бд.

Comments

[Виктор Таран]

они могут сохранять данные тот же австатс сохраняет статистику уже в виде html файлов
однако чем вас не устраивает яндекс метрика ?
Вам нужна статистик но вы ротируете логи
тут у меня небольшой десонанс наступает.

[Искатель]

Виктор Таран, если не ротировать логи, то они за неделю будут до нескольких гигов распухать, диска не хватит

Answer 1

[Dimonchik]

в момент запроса к ним берут данные из access_log,

да ну да конечно, прям в момент запроса

взрослые пацаны используют ELK
дети - awstats правильно настроенный

Answer 2

[mureevms]

Prometheus + grafana идеальное решение. Вход не сильно сложный, мало потребляет ресурсов, очень гибок и удобен.

Answer 3

[dmpopof]

рекомендую splunk. Есть бесплатная версия на 500 МБ логов в сутки, запускается в докере одной командой, по моему на ней алертов нет только (авторизацию можно апачем сделать). Тут уж зависит от вашего трафика. Он крутой, с ним возможен быстрый старт и классные результаты.