Начать имеет смысл с
руководства от Oculus, там хорошо расписано что стоит и не стоит делать при создании приложений для виртуальной реальности. После этого можно посмотреть
официальные туториалы и поковырять
демонстрационный проект. Когда с этим разберётесь, ставьте
VRTK и смотрите тамошние примеры.
Касаемо знаний языка всё как везде - чем больше, тем лучше. Если масштаб приложения небольшой, то можно быстро наговнякать то, что хотели, и дойти до релиза на костылях, но, сами понимаете, гордиться такой поделкой никто не будет. Попробуйте начать с туториалов, если с ними всё будет понятно, то, вероятно, и со своей задачей вы сможете справиться.