Варианты сервиса/системы для мониторинга работы приложения с внешними API?
Есть нагруженное приложение, работающее с платежными шлюзами и другими API.
Нужно сохранять запросы, ответы, время и другую информацию. По сохраненным данным нужно строить отчеты и, при неполадках, нотифицировать(сейчас этим занимается zabbix).
Инстансов приложения около 100, данные в сервис будут отправляться по сети, желательно TCP, но не критично.
Сейчас собираемся писать своё, но у меня предчувствие что подобная задача уже решена и оформлена в сервис/библиотеку/фреймворк. По ощущениям, нужно что-то типа заббикса на стероидах и без уклона в мониторинг сети, кастомизируемое.
Может при помощи www.fluentd.org собирать из приложеньки.
Метрики слать в любимый мониторинг, что то типа zabbix / graphite.
А "документы", в зависимости от количество засылать либо в монгу (capped collection ?), либо в elasticsearch ? И там уже анализировать их.
Ну и какого нибудь брокера поставить промежуточного между приложенькой и ES\mongo чтобы в случае отказа принимающей стороны данные не потерять.