Правильно понимаете, либо подключается плагин к движку, и используются его средства разработки, либо цепляется библиотека напрямую из сишного кода. Для виртуальной реальности очень важна производительность, поэтому, например, на питоне игр можно не ждать.
Копать стоит для собственного удовольствия, особенно если хотите быть первопроходцем. В принципе, виртуальная реальность это тот же самый геймдев, в худшем случае вы научитесь работать с камерой и контроллерами, в лучшем - напишете следующий дум или квейк.