Какую версию jvm использовали? Попробуйте 1.7, там появился invoke dynamic который должен ускорить работу groovy скриптов (а также используйте последнюю версию groovy).
А вообще код на груви врядли будет работать так же быстро как код java, если он будет работать раза в 2 медленнее уже хорошо.