Знаю что на python ниразу нельзя, на js есть babylon.js и three.js, java LWJGL,c++ библиотека sdl 2 поддерживает vr и unreal, c# из известных мне это unity.
Из всего этого самоe лёгкое это unity так как в нём низкий порог вхождения куча гайдов и документации по поводу допустим Google cardboard.
По поводу анрила ничего не могу сказать. У sdl 2 достаточно высокий порог вхождения но на нём написан source 2 на котором написана half life alyx. Three.js тоже достаточно трудная по моему мнению библиотека, а babylon.js достаточно лёгкий, но на него мало документации, java очень медленный относительно unity.
Итог: выбор за вами, но самое простое и удобное это unity