нужно будет пересоздавать AMI образ. Хотя, наверное, это будет не часто
Не бежите вперед поезда. Если данные будут меняться не часто, то пока сделайте первый вариант, он экономит время и технически прост. В случае если у вас будут часто меняться конфиги и.т.д то только тогда занимайтесь оптимизацией. Смотрите в сторону
packer
Проблема в динамичной загрузке(через конфиг сервер) в том что при запуске инстанса что то может пойти не так: глючит интернет - не смог скачатся конфиг, упал ваш сервер с конфигами и так далее...
В случае если вы подготовите готовый образ, то всех этих проблем можно избежать так как все нужное уже будет внутри. Еще один плюс это в том что у вас будет список версий образов. Если что то пойдет не так у вас всегда будут предыдущие образы на которые можно будет откатится.