Задать вопрос
@renniqs

Что выбрать Spring или Talend?

Что лучше выбрать для обработки данных Spring или Talend? Может у кого есть опыт работы с большим количеством данных?
  • Вопрос задан
  • 1587 просмотров
Подписаться 1 Оценить Комментировать
Решения вопроса 1
@protven
С насколько большим количеством данных? Спринг, в общем-то, совсем не про то. Вы наверное про Spring Batch. И при чем тут BigData ? Оба инструмента, Spring Batch и Talend - они скорее про ETL. В целом есть очень положительный опыт по разработке ETL процесса с помощью Спринг Батча. Там правда у меня задача очень хорошо ложилась на флоу Батча, но тем не менее. Надо было выгрузить примерно 5 миллиардов записей из Оракла, некоторым образом их обогатить (сходить в несколько сторонних сервисов) и записать обогащенные данные в другую базу. При этом обеспечить возможность начать с того же места, где закончили при аварии и паралелльную обработку. Разработка заняла пару дней, выполнение задачи еще сутки. Вообще если вам нужна именно "BigData"(прости господи), то смотрите в сторону более характерных инструментов для именно бигдаты. Flume, Sqoop, Kafka, Spark, Hadoop, etc.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы