Как парсить большие(>25GB) файлы(логи активности) и ранжировать полученную информацию, какие технологии лучше использовать?

Question

[bakomchik]

Здравствуйте, коллеги.
Появилась необходимость парсить большие файлы логов(>25гб), определенным образом ранжировать и преставлять конечному пользователю UI для анализа этих ранжированных данных.
Такие задачи никогда не решал , не знаю что лучше использовать для этого(Hadoop,elasticsearch, mongo)
кручусь в эко-системе java.
Прошу совета от опытных коллег!

Comments

[Freeman]

25 ГБ -- это разве Big Data? Вы на порядок ошиблись.

Answer 1

[АртемЪ]

Как парсить

Как обычно - читаем и разбираем. Размер тут большого значения не играет.

Если вы собираетесь предоставлять конечному пользователю UI для анализа этих ранжированных данных, то надо в процессе парсинга переносить данные в БД.
Выбор конкретной БД зависит от многих факторов, в частности от того что за данные, как они связаны, и какие выборки нужны будут.

Answer 2

[sim3x]

www.datacenterknowledge.com/archives/2012/03/08/th...
пока у тебя нет потока таких логов, не надо хранить и обрабатывать историю за 10+ лет - у тебя нифига не бигдата

не знаю что лучше использовать для этого

не знаешь что использовать под бд - используй postgres

Читай построчно и запихивай в БД в нормализированном состоянии
Изучи хаки для буста производительности БД - temp table, disable indexes, etc

Hadoop нужен если им будут пользоваться те кто в нем шарит. Твои пользователи будут переподнимать кластер после того как он навернется из-за того что софт сырой поставили?

Answer 3

[Ivan Velichko]

Вот ответ на ваш вопрос. Основная идея:
файл лога -> парсер -> logstash -> elastic search -> kibana

Answer 4

[Влад Животнев]

Если SQL-like разберете - то hadoop+hive.

Answer 5

[⚡ Kotobotov ⚡]

да всё верно, читаем -> обрабатываем.
но большинство алгоритмов классических, которые мы обычно используем для обработки данных (например сортировки) имеют класс "оффлайн" алгоритмов -> где для получения ответа нужно сразу все данные предоставить, чего иногда сделать просто не возможно.
посмотрите класс онлайн алгоритмов, и потоковой обработки данных.
например тут www.cs.dartmouth.edu/~ac/Teach/CS85-Fall09/Notes/l...
ну либо попытаться использовать потоковые фреймворки типа spark.
для обработки логов конечно проще и быстрее написать свои алгоритмы, чем spark колхозить.