Как качественно мониторить web-сайт?

Question

[Aleks305]

Добрый день, коллеги.
Не посоветуете ли качественную систему мониторинга состояния web-сайтов, которая бы позволяла:
1) отслеживать медленные страницы на сайте
2) понятность в просмотре результатов
3) на выходе - график/табличная статистика:
4) ссылка
5) среднее/максимальное время загрузки
6) возможность задавать маски (многие ссылки имеют динамические параметры)
7) мониторить коды ответа сервера.
Сайт на базе nginx+apache. В данный момент используем преимущественно nagios для мониторинга, но этого не хватает.
Спасибо!

Answer 1

[Viktor Vsk]

piwik.org - собственная яндекс.метрика \ гугл.аналитикс
newrelic.com (https://github.com/newrelic)
www.zabbix.com
https://github.com/pagespeed/ngx_pagespeed (https://developers.google.com/speed/pagespeed/module)

Comments

[Алексей Елецкий]

newrelic — лучший сервис, только дорогой нынче, но это окупается.

Answer 2

[Илья Кошкаров]

Google Analytics или Яндекс.Метрику, для подробного мониторинга лучше использовать собственные система, которые бы парсили страницы

Answer 3

[mentatxx]

Чтобы парсить логги веб-сервера и рисовать графики можно использовать например www.awstats.org , goaccess.io или же пихать логи в облака типа loggly.com - оно это умеет красиво и до некоторого объема бесплатно.

Но скорость загрузки страницы надо смотреть только client-side. Так что GA, Yandex-метрика и первый разок прогнать через YSlow, что б найти слабые места - самое то.

Comments

[Aleks305]

Спасибо огромное за столь дельные советы

Answer 4

[Aleks305]

google analytics и yandex.merika, естественно, есть, но это немного не то. нужно что-то собственное, ну в смысле система мониторинга на собственном сервере.

Comments

[Яков]

Вам выше уже предложили - PIWIK.

Answer 5

[misc1]

Pingdom

Comments

[Aleks305]

Опять же, это не свое, это сервис мониторинга(чужой). А хочется купить или поставить бесплатное, при необходимости менять и дорабатывать.

Answer 6

[index0h]

1) отслеживать медленные страницы на сайте

StatsD

2) понятность в просмотре результатов

Graphite / Logstash + Elasticsearch + Kibana / Sentry

3) на выходе - график/табличная статистика:
4) ссылка
5) среднее/максимальное время загрузки
6) возможность задавать маски (многие ссылки имеют динамические параметры)

Все зависит от того что и как будет логгировать

7) мониторить коды ответа сервера.

Парсинг логово apache/nginx через Logstash

Comments

[Дэн Иванов]

"Все смешалось, люди, кони" :). Почему между Graphite и logstash стоит _или_ ? Вроде как совсем разные шуки. Kibana и Sentry - разве можно как то из ES доставить в sentry нативным образом данные ? Да и зачем ?

[index0h]

ptchol Еще бы смешалось)) "понятность в просмотре результатов" это вообще формулировка не очень.
Графит обычно устанавливается сразу с карбоном, логстеш же просто конвертер но обычно устанавливается с ES+Kibana.

> Kibana и Sentry - разве можно как то из ES доставить в sentry нативным образом данные ?
Где вы у меня увидели ES+Sentry?

> Да и зачем ?
Сами сказали глупость - вот и решайте зачем))

Графит обычно используется для метрик, логстеш с компанией для логов, sentry - для исключений.

[Дэн Иванов]

index0h: Ооо, я походу понял Вашу нотацию. Вы предложили Graphite / ELK / Sentry :), а я было подумал что слэшиком вы разделили вариативные составные части целой системы :)

[index0h]

ну вот и славненько))