Из открытых кроссплатформенных движков пожалуй самый кроссплатформенный Irrlicht Engine. На хабре есть серия видеоуроков по движку, смотрите тут:
habrahabr.ru/users/skaner/topics
А если нужна именно особо продвинутая физика, которой ни в одном подключаемом к Irrlicht физическом движке, например в Bullet или ChronoEngine нету, то либо допиливать, либо писать свой, либо даже не знаю что вам посоветовать.
upd. Ну, если возможностей Bullet хватает, а Java, по той или иной причине, предпочтительней С++, то libGDX
