Если абстрагироваться от всех этих понятий, то движок это некий код который позволяет кастомизировать поведение программы.
Если мы говорим об играх, то движок не всегда и нужен. По сути основная база игры это сама игра, которую можно реализовать банальным хардкодом. Тебе придётся изучить базовые понятия по игровой симуляции чтобы сделать это, и некоторые которые дополнительные фичи которые зависят от жанра. (Типо как считать движение пули)
А писать именно движок это муторное и сложное дело, неподходящее занятие для начинающих. Смотри то как раньше делали игры, на сегу никто движки не писал, они появились гораздо позже.

поздновато но... Смотря что вы подразумеваете под GPU. Если смотреть в историю, то все 3D акселераторы и прочее связанное с графикой это простые ядра с минимальным набором команд нужных только для определённых задач (а иногда даже "популярные" RISC ядра с FPU). В процессе эволюции сам смысл GPU как параллельной числодробилки особо не изменился. Это, разбитые на кластеры, группы ядер с простой системой команд, и очень малой памятью программ(256 команд как прим). У каждого кластера есть свои спец блоки (прим*Блоки растеризации), чтоб ускорить процессы "формирования" изображения, или всяких карт.
Если мы говорим про то, что нужно знать чтоб делать GPU как 3D рисовалку, то надо знать как строится изображения графическими библиотеками. (хотябы)
Мне помогли статьи на хабре про CPU рендере якимто профессором. Как это выглядело "снаружи"

Это всё что нужно знать о GPU а дальнейшая реализация уже на вашей фантазии. И поверьте, вариантов как сделать это просто тьма.

А проблемы с FPGA только в производительности, ибо на простеньком EP4CE22 в F24 я выжимал 1-2Gflops c 10ядерным 2х(4+1). А ещё нужна достаточно быстрая оперативка. SDR SDRAM даже для 800х600 слабо подходит. Скорее только уж треугольники в картинку превращать. Тут надо бы DDR* 400 (или выше если запустится)
PS- Мои ядра были не векторные если шо