Можно
с помощью jlink создать дистрибутивную версию программы, включающую в себя JRE. Это стандартный, официально рекомендуемый подход, но получится не один exe'шник, а каталог с множеством файлов и bat'ником для запуска программы.
Настоящий exe'шник можно сделать с помощью утилиты
native-image, входящей в Graal, но далеко не все java-программы для этого подойдут.
