1) Как рассчитывать движение, работу двигателя и так далее?
2) Как зафиксировать коллизию объектов (Луны и станции)?
Проще всего - взять уже готовую физическую библиотеку, которая и коллизии считает и импульс.
Если хочешь сложным путём пойти - вспоминай школьную программу математики и физики.
Тебя интересуют вектора и понятие импульса и массы. Собстваенно обычная ньютоновская физика.
Двигатель будет генерировать некоторый импульс каждую единицу времени и при этом также будет уходить масса. Также сама луна будет оказывать опеределённую силу на аппарат.
Если будешь симулировать последний этап посадки, то можно пренебречь формулой гравитации и не учитывать изменение силы притяжения вместе со сближением.
Для расчёта коллизий есть разные алгоритмы - тут тебе следует погуглить. Они собственно строятся на том, что у тебя есть какая-то модель формы объекта и векторы скоростей.
3) Как процедурно сгенерировать реалистичную поверхность Луны?
Ну тут в принципе разные подходы есть. Можешь сгенерировать на основе уже существующих фактических данных о поверхности.
Можешь попробовать просто на основе какого-нибудь шума, сгладив и отмасштабировав его.
https://en.wikipedia.org/wiki/Lunar_Lander_(video_...