@Heavy10110

Архитектура kinesis+spark stream?

Есть стрим на AWS. Использую библиотеку KCL для python. Consumer и producer работают, запускаю их на локальной машине, данные прогоняются через стрим, все хорошо. Вопрос - я хочу интегрировать сюда spark streaming, в документации сказано, что он используется в связке с kinesis след образом: данные приходят в kinesis consumer и оттуда данные идут в spark streaming. Правильно ли я понимаю, что нужно разворачивать EMR Кластер со Spark и уже в мастер закидывать consumer, который kinesis? Если да, то где будет код spark streaming? Разъясните пожауйста архитектурную схему.
  • Вопрос задан
  • 123 просмотра
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Playkot Санкт-Петербург
До 200 000 ₽
Sarex Москва
от 130 000 до 185 000 ₽
19 февр. 2020, в 10:46
300 руб./за проект
19 февр. 2020, в 09:36
10000 руб./за проект
19 февр. 2020, в 08:48
5000 руб./за проект