Что выбрать Spring или Talend?

Question

[renniqs]

Что лучше выбрать для обработки данных Spring или Talend? Может у кого есть опыт работы с большим количеством данных?

Answer 1

[protven]

С насколько большим количеством данных? Спринг, в общем-то, совсем не про то. Вы наверное про Spring Batch. И при чем тут BigData ? Оба инструмента, Spring Batch и Talend - они скорее про ETL. В целом есть очень положительный опыт по разработке ETL процесса с помощью Спринг Батча. Там правда у меня задача очень хорошо ложилась на флоу Батча, но тем не менее. Надо было выгрузить примерно 5 миллиардов записей из Оракла, некоторым образом их обогатить (сходить в несколько сторонних сервисов) и записать обогащенные данные в другую базу. При этом обеспечить возможность начать с того же места, где закончили при аварии и паралелльную обработку. Разработка заняла пару дней, выполнение задачи еще сутки. Вообще если вам нужна именно "BigData"(прости господи), то смотрите в сторону более характерных инструментов для именно бигдаты. Flume, Sqoop, Kafka, Spark, Hadoop, etc.

Comments

[renniqs]

На самом деле мне наверное нужно, то что вы делали. Правда данных будет намного меньше. А заказчик сказал изучить talend для обработки, но я начал сомневаться и нашел Spring Batch. Спасибо буду смотреть в сторону спринга.

[protven]

renniqs: Я с талендом не работал, но коллега, который работал с ним очень плотно отзывался о нем крайне отрицательно. И собсно он мне посоветовал и принес на проект Spring Batch. Мы на батче написали уже несколько модулей, как для разовых, так и для периодических задач. В целом очень довольны.

[renniqs]

protven: Есть возможность поделиться готовым решением модуля?

[protven]

renniqs: К сожалению код - собственность компании. Но в целом Spring Batch довольно прост, достаточно выполнить несколько хелло-ворлдов и можно писать свою задачу.

Если кратко, то начните с того, что распишите что вам надо сделать. Например
- задача разовая/периодическая
- запускаемся по раписанию/или по команде.
- мы читаем оттуда-то (файл, база данных).
- мы обрабатываем данные так-то
- мы мы записываем данные туда-то.
- ошибки мы обрабатываем так-то (или пишем в лог и игнориуем или роняем выполнение джобы)

Исходя из этого планируете структуру своего модуля.

Запуск по команде можно сделать например так
Запуск через веб-интерфейс например так
Периодический запуск можно сделать с помощью всеможных шедулеров, типа Quartz, @scheduled в самом спринге есть, банальный кронтаб.

Для чтения используется https://docs.spring.io/spring-batch/trunk/referenc...
Есть стандартные реализации для чтения из БД, из csv файлов например или можно писать свою.

Для обработки прочитанных данных традиционно принято писать отдельный процессор
Процессоры можно объединять в цепочки - композитные процессоры.

Ну и для записи результатов надо использовать ItemWriter, опять же - есть стандартные реализации, например для записи в БД, можно написать свои реализации.

Для обработки ошибок можно настроить или skip-exceptions для списка ошибок, которые можно игнорировать или на каждый шаг можно повесить Listener, со стандартными методами "before", "after" и "onError".

Для параллельной обработки я использовал Partitioner, но вариантов масса.
Я бы советовал сначала сделать последовательный вариант и только потом, если вдруг надо ускорять процесс, пытаться его параллелить.
Так же не забывайте выставлять корректные размеры fetchSize и commitSize, это соотвественно размер чанка данных, которые вы читаете и записываете.

На гитхабе огромное количество примеров на любой вкус, да и в сети тоже полно уже готовых примеров.
Позапускайте готовые, поймите как они работают и пишите свое по аналогии.

[renniqs]

protven: Спасибо большое!