Insolita
@Insolita
Отчаянная домохозяйка

Просветите по современным сервисам сбора и мониторинга логов, что выбрать с пользой и без ущерба карману?

Как-то выпала я из тренда в этом вопросе, loggly, logstash, logentries, graylog, sentry, blackfire, kibana, newrelic... и еще куча всего... (большая часть из хендлеров монолога) По поиску находятся только ограниченные обзоры, и vs конкретных сервисов. Из того что поняла, что некоторые просто принимают логи по апи, некоторые ставятся прямо на сервер и обрабатывают, какие- то просто повзоляют гибко искать, какие-то еще и аналитику разнообразную выдают... Что вы используете в качестве альтернативы лог-файлам/бд ? Что стоит попробовать для не особо нагруженных продакшн проектов, но на разных серверах? Хотелось бы чтобы всё было в одном месте. Так же интересно чтобы можно было собирать логи ошибок nginx/mysql/postgres, не требовало особых плясок с бубном. Длительных сроков хранения не требуется.
  • Вопрос задан
  • 2740 просмотров
Решения вопроса 1
Singaporian
@Singaporian
Половину из списка можно сразу выкинуть. Например Kibana занимается визуализацией логов, а не сбором. В ELK стэке для этого служит Logstash. А Blackfire - инструмент для перфоманс-тестирования + метрики.

Дальше нужно определиться, где вы хотите разместить сервис. Если в облаке, то New Relic, Loggly и Logentries остаются в списке (если ваш сервис на AWS, то добавляется CloudWatch), но из него уходят LogStash и GrayLog2. Но если хотите держать сервис у себя, ваш дальнейший выбор только между LogStash и GrayLog2.
В первом случае у вас продолжение поисков -- на следующем этапе уже встает вопрос цены продукта.

=====
"Так же интересно чтобы можно было собирать логи ошибок nginx/mysql/postgres, не требовало особых плясок с бубном"

Все три сервиса написаны на C-lang. Это значит, что, в отличии от Java, они не будут выкидывать ужасные стэктрейсы на 100500 строк, а всегда будут укладываться в 1024 символа. Именно этот предел есть у стандартного syslog. Поэтому пусть они и дальше пишут в syslog, а уже в нем вы настроете куда редиректить логи дальше. Таким образом вам не надо будет при смене сервиса сбора логов бегать по всем нджинкасам и постгрессам и менять настройки - достаточно будет поменять в одном месте, в syslog.
Но! Если будет Java приложение, то такое не пройдет и вам потребуется что-то типа GELF, чтобы успешно доставить полный размер exception.
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 5
dimonchik2013
@dimonchik2013
non progredi est regredi
logstash + kibana распространены

также имеет смысл посмотреть в yandex click house
Ответ написан
@topuserman
Можно брать ELK-стэк + rabbitmq.

В Монологе есть Amqp-хэндлер, и logstash-форматер,
отправляете логи в очередь.
А в logtash читаете из очереди.

достаточно шустро работает на серьезных нагрузках.

UPD: только заметил, что более 3 лет назад вопрос был..
Ответ написан
Комментировать
Denormalization
@Denormalization
А чем bugsnag не устраивает? Для средненького проекта хватит даже бесплатного аккаунта.
Ответ написан
zoonman
@zoonman
⋆⋆⋆⋆⋆
Я использую Sentry, для поиска косяков и ошибок в коде просто идеально, если правильно все настроить.
Ответ написан
Комментировать
@murlogen
Если ставить свой, а не использовать внешние сервисы - то какой тут ущерб?
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы