Я бы посоветовал учебник Аналитической геометрии, из нужно извлечь максимум о базисах векторного пространства и матрицах перехода от одного базиса в другой - с этими знаниями уже в миллион раз легче будет. Описаний работы графического конвейера миллионы в интернете. Так же очень поможет теории алгоритмов в частности вычислительная сложность, ибо каждый отдельный шейдерный блок обладаем весьма скромной вычислительной мощностью, сила видеопроцессора в их количестве - следственно высочайшей степени распараллеливания вычислений. По самим API есть мощнейшие документации на официальный сайтах(на английском естественно).