Библиотека для С++, которая просто составляет матрицы для OpenGL называется GLM. Как она работает - любая книга по компьютерной графике, например Порев. Полезно написать софтверное рисование вращающегося кубика, но потом проще использовать её.
Также, для ES должен быть аналог библиотек glew и glut, которые делают большую часть рутинной работы. Первая вызывает тонну функций типа GetProcAddress(...), чтобы всё работало - ничего интеллектуального. Вторая подготавливает экран для отрисовки OpenGL, чтобы не нужно было думать, как это делается на непосредственно целевой платформе. Если у вас есть фреймворк, который включает в себя и первое, и второе, и третье, то ничего, кроме головной боли от попыток всё это слинковать, стремление всё сделать самому не принесет.
Из самой библиотеки все эти средства давно уже убрали.