если оба фронтэнда работают в VPC, то попробуй Лямбду тоже посадить в VPC - нечего ей в инет ходить. Правильно пропиши порты в sec groups (обычно 443 outboud должен быть включен)
Добрый, Терраформ не очень хорош, его как end user. Для обновления используйте packer - лучше всего внутри CI/CD pipeline. После обновления ami обновите launch template в терраформе,просто указывая (новую) версию ami для ec2 машин.
Если оба фронтэнд и бакенд работают в докере вам надо правильно пробросить порты к докер контейнерам - например сделать разные порты на localhost и пробросить к ним соответствующие порты от контейеров, еще можно установить контейнер маршрутизатор/load balancer типа того же nginx или лучше HAProxy, кот будет например между неск фронтэнд балансировать
а почему не использовать Lambda с boto3 python? Там больше примеров...
У меня была длинная задача на Лямбде, я записывал проемеж значения в sqs queue и доставал во время след запуска Лямбды. Также можно использовать step functions
Главное, чтобы вы сами не запутались потом какой файл для чего, храните отдельно списки файлов (например в базе итд.... ) а генерировать случайный префикс легко во всех языках!