"3D Math Primer for Graphics and Game Development, 2nd Edition"
"Mathematics for 3D Game Programming and Computer Graphics, Third Edition"
Если брать именно С++, то тут больше нужно знать сам С++ и около С++-сные вещи. Нежели математику. Тем более сейчас активно внедряется С++11/14. Всё может упереться в то, что вас спросят 2-3 вопроса по матану и 50 вопросов по computer science и разбору Александреску-кода на С++.