До явы 9 был в своё время консольный инструмент
jhat. Попробуйте им.
Я знаю, что Оракл советует пользоваться
VisualVM, можете им попробовать. Но я не знаю, как он себя поведёт. Не работал с ним в условиях ограниченной памяти.
Извините, если мой ответ вам не подошёл. Я бы посоветовал вам уменьшить heap, и попробовать уронить яву ещё раз. Если вы анализируете утечку памяти, то она должна случиться и на меньших объёмах кучи. На худой конец, можете попрофилировать выделение памяти на работающей яве, чтобы узнать, кто выделяет столько мегабайт в куче.
Средний
Простой