Визуализация данных из hadoop?

Question

[Konstantin Rudenkov]

Всем привет. Начинаю изучать hadoop и рядом с ним. Возник вопрос — как визуализировать данные?


Например: у меня есть пара терабайт разных логов в HDFS, я хочу нарисовать график (a la munin), скажем по частоте 404 в логе апача, как сделать? Прошу наводки для грамотного артобстрела! :)

Answer 1

[Max]

гуглите «adhoc analytics»

Answer 2

[z0rc]

Можно посмотреть в сторону подключения elasticsearch и kibana.

Comments

[Konstantin Rudenkov]

По сути, я хочу как раз избавится от этой связки. Или напустить elasticserach на данные в hadoop — но как это сделать, я не понимаю.

Answer 3

[ezavialov]

Самое эффективное решение для описанной задачи написать джобу (или заюзать готовый org.apache.hadoop.examples.Grep) + bash + gnuplot.

Comments

[Konstantin Rudenkov]

любопытно, спасибо . буду копаться.

Answer 4

[Yuurga]

Есть решения вроде IBM DataSheets платное, а также TABLEAU тоже платное, но последнее дает месяц бесплатной лицензии.