Какие есть аналоги hadoop для небольших объемов данных?

Сейчас я продумываю архитектуру ПО где нужно будет получат данные и обработав их хранить.
Данных максимум будет 2-3 ТВ и они будут приходить невиличкимы порциями в течение 3-5 лет.
Сервер будет один и потому просочились сомнения целесообразно ли будет использовать hadoop, пока это выглядит как запускать боинг для доставки пиццы.
Вот и поэтому заинтересовался вопросом которые могут быть аналоги?
Какие есть подходящие варианты для такого объема данных?
И если стоит брать hadoop то какие конфигурации будут подходящими?
  • Вопрос задан
  • 2839 просмотров
Решения вопроса 2
@balamut108
Py
Apache Spark - по сути аналог (тот же Map Reduce).

Ну а для обработки и хранения: NumPy и Pandas.

Визуализация: Mathplotlib, seaborn.

P.S. Это всё Питоновский стек.
Ответ написан
@DuD
Marklogic, Splunk, Elasticsearch.
Важно понять, может формат у файлов одинаковый и это все можно вообще в sql базу сунуть, собрать индексы и забыть.
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы