3D Math Primer for Graphics and Game Development
Я изучал по этой. БОльшая часть книги уделена математике для рендеринга, про коллизии и физику в целом не так много. Мне в своё время очень понравилась. Также если вы действительно намерены написать свой движок, то советую сначала понять, как существующие движки работают по капотом.
catlikecoding - здесь очень качественные туториалы про графику в Юнити.