Стоит ли использовать Spring boot для прототипирования веб-приложения?
Стоит и не только для этого. Обратите внимание на Spring Data -- ускорит и упростит работу "общения" с datastore.
Встречали ли Вы случаи использования таких систем на продакшен-решениях?
Да. Причем, в достаточно серьезных проектах. Для реализации микросервисной архитектуры.
Какие есть минусы у такого подхода.
Минус в том, что многое (речь про конфигурацию) делается автоматически (это плюс) и магически(и в то же время, минус). Те, если нужна кастомизация, подход начинает терять смысл. С другой стороны, в большинстве типичных случаях, она и не требуется.
Возможно ли в дальнейшем изъять из приложения Spring boot, оставив просто Spring или даже перейти на другой java-фреймворк?
Возможно. Многое зависит от архитектурного стиля. Старайтесь вообще минимизировать зависимость от фреймворка. Почитайте о DDD.
Есть ли еще какие-то адекватные способы создания прототипа для веб-приложения на java с возможностью потом нарастить функциональность в прототипе
Есть. Уже названный Play, Ninja...