Говорят внутри процессоры от intel и amd что то типа RISC (так было во времена intel pentium pro возможно и сейчас), но через биос или на заводе в процессор заливается прошивка, которая на лету преобразовывает команды x86 архитектуры в железную.
Так вот, если компании перестанут жаждать монополии (чего пока наша цивилизация не вылечится не будет), вполне возможно создание такой прошивки в том числе и для java vm. Что то мне говорит что скорость выполнения такого кода будет значимо выше чем через промежуточное представление x86 с тяжелым легаси.
но еще веселее было бы, если бы прошивка процессора могла бы изменяться буквально по ходу работы приложения (точнее на уровне операционной системы, подстраиваясь под текущие запущенные процессы), а еще статистику выполнения кода (на основе которой можно делать более точные предсказания по ветвлению кода а значит предварительному его исполнению и ускорению плюс более точному управлению кешем и работой с памятью) ну к примеру через интернет, то это еще бы значимее повысило бы работу кода... но как я сказал, сначала нужно чтобы человечество перестало цепляться за свои секреты между ее членами и стало развиваться и существовать как единое целое сообщество.
Кстати одним из неплохих шагов к высокой производительности было бы стандартизация и популяризация FPGA решений с открытыми/доступными решениями по генерации прошивки для них, представьте типовые компиляторы, которые бы под вашу программу генерировали бы целые блоки, позволяющие бы параллельно проходить огромные подветви алгоритмов, да просто представьте создание специализированных инструкций под задачу? Но к сожалению сейчас это выглядит так - купи процессор с платой управления за десятки тысяч баксов, потом купи лицензию за не меньшее количество баксов и подпиши NDA и только тогда пользуйся opencl который универсально соберется в т.ч. для fpga.