Леша Киселев

ElasticSearch
https://www.elastic.co/guide/en/elasticsearch/refe...
https://www.elastic.co/guide/en/elasticsearch/refe...

По собственному опыту скажу, что очень хорошо справляется. Сейчас имеется маленький кластер с 300+ гб событий статистики, все очень шустро работает.

Вот еще несколько ссылок, дабы избежать распространенных ошибок в настройке кластера.
radar.oreilly.com/2015/04/10-elasticsearch-metrics...
https://www.loggly.com/blog/nine-tips-configuring-...
https://www.elastic.co/blog/found-optimizing-elast...

Наткнулся как раз на камень, описывающийся в этой статье:
https://www.elastic.co/blog/support-in-the-wild-my...
При настройке маппинга индекса, указывай параметр для не анализируемых полей:
"doc_values" : true

Можно воспользоваться связкой Logstash + ElasticSearch + Kibana.
Logstash - принимает и парсит логи.
ElasticSearch - хранилище.
Kibana - визуализация данных.

https://www.elastic.co

ps. имею опыт работы с такой связкой. Сейчас в хранилище порядка 1,5 миллиардов событий на 4 серверах. Работает без проблем.