Может при помощи
www.fluentd.org собирать из приложеньки.
Метрики слать в любимый мониторинг, что то типа zabbix / graphite.
А "документы", в зависимости от количество засылать либо в монгу (capped collection ?), либо в elasticsearch ? И там уже анализировать их.
Ну и какого нибудь брокера поставить промежуточного между приложенькой и ES\mongo чтобы в случае отказа принимающей стороны данные не потерять.