Какие есть аналоги hadoop для небольших объемов данных?

Question

[Александр Ковальчук]

Сейчас я продумываю архитектуру ПО где нужно будет получат данные и обработав их хранить.
Данных максимум будет 2-3 ТВ и они будут приходить невиличкимы порциями в течение 3-5 лет.
Сервер будет один и потому просочились сомнения целесообразно ли будет использовать hadoop, пока это выглядит как запускать боинг для доставки пиццы.
Вот и поэтому заинтересовался вопросом которые могут быть аналоги?
Какие есть подходящие варианты для такого объема данных?
И если стоит брать hadoop то какие конфигурации будут подходящими?

Comments

[nirvimel]

Зачем вам софт для распределенных вычислений?
У вас есть много серверов, ни один из которых по одиночке не справляется с объемами нагрузки?
Если это - не ваша ситуация, то Hadoop - решение не вашей проблемы.

[Александр Ковальчук]

nirvimel: Вот и размышляю что бы было решением моей проблемы когда один сервер и не слишком объемные данные но нужно делать расчеты и выбирать данные

[DuD]

Александр Ковальчук: если 1 сервак и данных так мало то не надо все усложнять. Кладите в папки и читайте с диска. Весь этот набор BIGDATA ПО вам еще и поддерживать придется в течение всего времени хранения.

Answer 1

[Vov Vov]

Apache Spark - по сути аналог (тот же Map Reduce).

Ну а для обработки и хранения: NumPy и Pandas.

Визуализация: Mathplotlib, seaborn.

P.S. Это всё Питоновский стек.

Comments

[Александр Ковальчук]

Это самое подходящее, а можете подсказать для того чтобы выбирать полученные файлы для питона?

[Vov Vov]

Александр Ковальчук: извините, не понял вопроса.

[Александр Ковальчук]

Владимир Сидоров: файлы приходят и сохраняются, нужно их вытащить и передать дальше для обработки, при удачной обработке удалить их а при неудачной пометить как битые, возможно подскажете решение для python?

[Vov Vov]

Александр Ковальчук: да решение очень простое, написать на python демон, который будет отслеживать файлы в папках и при необходимости их помечать

Answer 2

[DuD]

Marklogic, Splunk, Elasticsearch.
Важно понять, может формат у файлов одинаковый и это все можно вообще в sql базу сунуть, собрать индексы и забыть.