Всем привет. Работаю в области тестировании ПО и и недавно сменил проект, сменился и стек технологий, с dot net на big data :)
И появилось куча вопросов
Текущие описание стека (не очень точное, но самое важное):
Hadoop, Spark, Hive, Cassandra, Kafka, Rest (чтение/запись в топики Kafka), Hue и еще всякие маловажные штуки
Проблема:
Очень грубо говоря для каждой задачи потребуется создать ("грубо" потому что можно использовать существующие сущноси, которые юзают другие тестировщики, аналитики, разработчики):
- настроить Spark джобы (стрим джобы читают топики Kafka и пишут в другие топики Kafka (с модификация данных), батчевые джобы читают топики Kafka и пишут в Hadoop)
- создать топики в Kafka
- создать таблицы в Hive
- создать таблицы в Cassandra (джобы читают топики и пишут в Cassandra)
- поднять локально Rest
Можно ли как это всё завернуть в контейнеры, чтобы по кнопке, разварачивать джобы и прочие сервисы для нужной ветке?
Чтобы не корячиться каждый раз с настройками джоб на нужные топики, таблицы
Простой
