Есть стрим на AWS. Использую библиотеку KCL для python. Consumer и producer работают, запускаю их на локальной машине, данные прогоняются через стрим, все хорошо. Вопрос - я хочу интегрировать сюда spark streaming, в документации сказано, что он используется в связке с kinesis след образом: данные приходят в kinesis consumer и оттуда данные идут в spark streaming. Правильно ли я понимаю, что нужно разворачивать EMR Кластер со Spark и уже в мастер закидывать consumer, который kinesis? Если да, то где будет код spark streaming? Разъясните пожауйста архитектурную схему.
