Посмотрите, пермген и хип, насколько ровно они растут и, что переполняется.
Так же попробуйте такие настройки Джавы:
-XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+DisableExplicitGC
Когда поймете, кто у вас объедается, хип или перм - снимайте дамп и отдавайте разработчикам. Пусть устраняют утечки.
Если пользуетесь Tomcat7, через менедджер попробуйте тыкнуть кнопочку "Найти меморилик" и проанализируйте это.
