Запускать java на каждый запрос — это, конечно, жесть.
Правильный подход — запустить приложение один раз и оно должно работать, при этом должен быть механизм по посылке запросов в приложение. Простейший способ, как тут уже указали, это Jetty, но лично я бы использовал
Embedded Jetty, посмотрите, как там реализован HelloHandler
