Для получения информации по теме начните изучать, скажем, с этого доклада:
https://www.youtube.com/watch?v=q2wtSR3kD_I
Но в целом всё зависит от JVM, которые бывают совершенно разные.
ЗЫ Внешне влиять на память приложения вам не позволит операционная система - в этом одна из её основных функций.