Какой язык лучше выбрать для ETL процессов?

Question

[Parseltongue_developer]

Какие языки лучше всего подходят для целей построения ETL - C++, Java, Scala, Go, Python? По каким критериям стоит выбирать?

Comments

[Василий Банников]

На счёт критериев как и везде - удобство работы.
Обычно вижу, что используют Python или Scala. Видел ещё nodejs и Java.
Такого, чтобы делали ETL на C++ я не видел

[Модератор]

Parseltongue_developer, вы неправильно используете ресурс.
См.п.5.15 Регламента. Практически все ваши вопросы нарушают этот пункт.

Предупреждаю, что в случае дальнейших подобных нарушений ваши вопросы могут быть удалены, аккаунт временно или навсегда заблокирован.

Answer 1

[Александр Нестеров]

Критерий один: способность разработчика, который это будет разрабатыать, реализовать систему, удовлетворяющую всем требованиям. Причем, желательно, с минимально-возможными затратами.

Answer 2

[Владимир Коротенко]

C#, Java возможно что Python.
Все в большей степени зависит от компании какой там язык используется.
Кроме этого у многих компаний уже есть инструменты для трансформации данных. Например Data Transformation Services (Microsoft)

Comments

[Василий Банников]

Ну и опенсорсные продукты тоже есть (не помню название только)

Answer 3

[mayton2019]

Язык здесь не особо важен. ETL это настолько широкое понятие что там нужно
просто подняться на 2 уровня выше и смотреть решения которые есть.

Microsoft предлагает решение под названием https://adf.azure.com/en/ Azure Data Factory.

Данная платформа поддерживает много языков. Ну Scala/Python/SQL/R точно работают. Databricks кластер
просто является одной из фич данной платформы.