Привет! Может Я несовсем понял идею, но раз уже написаны примеры на mapReduce то может тебе стоит посмотреть в сторону создание отчётов на основе поискового движка Apache Solr? На выходе ты получишь гибкость перестроения отчётов под новые требования + near-realtime + маштабируемость. Идея там такая: Ты загружаешь данные в Solr и с помощью поисковых и аналитических запросов(компоненты facet & stats) делаешь необходимые агрегации. Вот видео с примером построения аналитических отчётов
https://www.youtube.com/watch?v=JtbEDef_p9U Сами отчёты ты можешь строить прям в Banana или Kibana на которых как раз делают дашборды для визуализации отчётов см.
https://www.youtube.com/watch?v=cqV5lPM2VVE и
https://www.youtube.com/watch?v=ddgtvv4W8EM . Я бы выбрал Banana как dasboard builder так как он намного гибче и более адаптирован под Apache Solr. Я же реализовывал аналитику с помощью Solr ещё и с прослойкой HBase. Cуть в том, что если тебе нужно изменять данные, которые уже раз пришли, то лучше для обновлений использовать key-value storage а далее у меня настроен livy-hbase indexer, который порциями обновляет данные в Solr. Вот ссылка с более подробной информацией:
bigdata-intips.blogspot.com/2016/06/real-time-apac...