Как делаются графики частоты запросов/статусов ответов от веб сервера?

Question

[Антон Иванов]

Всем привет!

Часто вижу, как разные компании выкладывают графики, на которых можно увидеть время обработки запроса, кол-во запросов в секунду и так далее.
Неужели все это делается просто анализом лог-файлов веб-сервера?
Если да, то какие признанные решения используются для анализов логов nginx?

Спасибо

Answer 1

[АК]

Посмотри в сторону new relic. Там есть куча плагинов для мониторинга и статистики работы сервисов. Для nginx в том числе.

Comments

[Антон Иванов]

спасибо, посмотрю

[АК]

А если интересует сам анализ логов и подробные графики со статистикой и анализом то конечно же Logstash + Elasticsearch + Kibana4

[Антон Иванов]

АК: Собственно, когда начал использовать Kibana4, в горове прозвучало "а неплохо было бы иметь такой же анализ логов nginx". Оставался только идеологический вопрос, не является ли перенос логов веб-сервера в elasticsearch чем-то сильно неправильным

[АК]

Если логов оооочень много и по ним нужно делать аналитику и видеть это воочию, имхо еластик будет быстро выбирать, но java даст о себе знать по любому(нагрузка будет огого). Хотя если не часто пихать логстешом в еластик логи.... то может и пронесет. Все зависит от настроек и оборудования.

Answer 2

[Влад Животнев]

Да, парсятся логи.
Само собой, не каждую минуту весь лог на 60 гб целиком, а с "запоминанием" последнего места для следующего запуска.

Ganglia + logster.