Из литературы есть свежая книжка Java Performance. В дополнение к ней просто поставьте YourKit, запустите приложение, потыкайте его или натравите нагрузочный тест. Смотрите графики, там все довольно очевидно. С VisualVM так же.
Пока так и поступил, натравливаю профайлеры и смотрю, что происходит. В приложении есть трудно уловимая ошибка с зависанием, от чего она возникает, пока непонятно, я потому и хочу найти какие-то методики/литературу как такое ищется.
Попробуйте запустить под flight recorder'ом. Если зависание, то возможно deadlock или другая разновидность проблем с потоками, когда поток ждет до бесконечности.