Если вы возьмёте и смотаете скотчем монитор и некую гироскопическую мышь, то у вас получится троллейбус из буханки. Есть миллион причин почему оно не будет работать. Почитайте блог Майкла Абраша (blogs.valvesoftware.com/abrash) и Oculus (https://www.oculus.com/blog/building-a-sensor-for-...), если хотите лучше понять что такое виртуальная реальность и какие проблемы стоят перед разработчиками VR. Как вы думаете, почему Палмер Лаки несколько лет делал прототипы прежде чем пошёл на кикстартер? Потому что VR это супер сложно. Потому что даже имея миллиарды фейсбука и команду супер-разработчиков сделать хорошее железо совсем не просто, и даже после этого остаются чисто физиологические и психологические проблемы, которые мешают полному погружению в виртуальную реальность. Разработчикам из Oculus не подошли гироскопы, которые в ракеты вставляют, им пришлось свои делать, а вы хотите мышку расковырять и получить что-то приемлемое?
Очень сильно сомневаюсь, что вы в одиночку напишете более быстрый и безбажный движок, чем сотня программистов юнити, которые занимались этим последние десять лет. Разумеется, для симуляции на сотню тысяч частиц юнити не очень подходит, в этом случае нужен тонкий графический движок. Для всего остального наверняка понадобится физику, нормальная система материалов, интерфейс. В юнити не так много мест, где можно упереться в ограничения движка, и в основном это очень специализированные случаи.
А главное не забывайте, что самописный движок нужно тестировать на куче разного железа, оно вам надо?