abstractbug

Основы 3D математики (координаты, ориентация, стол...
FAQ: 3D математика
Основы 3D математики: Векторные и матричные преобр...
ЧАВО по матрицам и кватернионам
Линейная алгебра для разработчиков игр
Как вращается камера в 3D играх или что такое матр...
Каверзные кватернионы
Вращение и кватернионы. Сборник рецептов.

на английском:
Vector Math for 3D Computer Graphics
General math
Making WebGL Dance - лучше начать с этого для понимания всего в целом а затем уже перейти к остальным ссылкам

именно так, всё сразу открывай и читай. это может и не цельные учебники но тем не менее дают хорошее понимание о том, с чем придется иметь дело. к тому же во многих статьях приводятся куски кода. если знаешь математику первого курса то считай что 90% изучено.

По части вопросов и общих моментов - присоединяюсь к @kazmiruk и @dplsoft, они всё правильно сказали. Их советы на самом деле хороши.

Добавлю только несколько ссылок, которые вам могут пригодиться:
0fps.net - ресурс по созданию реалтаймовых сетевых движков (на англ.)

Что должен знать каждый участник крупного MMO-проекта - отличный список вопросов, ответы на которые нужно знать для создания движков. Чем лучше понимаешь ответы на эти вопросы, тем лучше получится проект.

Две статьи от Маилру по созданию сервера: Базы данных в онлайн-играх. От Аллодов Онлайн до S... и
Архитектура сервера онлайн-игры на примере Skyforge. Подробно и качественно рассматривают создание сервера игры.

Сетевое программирование для разработчиков игр:
Часть 1: UDP vs. TCP
Часть 2: прием и передача пакетов данных
Часть 3: виртуальные соединения поверх UDP

Ещё полезные статьи с хабра:
Высоконагруженные системы: решение основных проблем
Создание многопользовательской realtime игры на node.js
Как не нужно писать большие сервера - на java