Побуду кэпом: бояться ошибиться - ничему не научиться. Бойтесь лучше нерешительности и топтания на месте. По своему опыту скажу: наломав дров можно хоть опыт получить, а долго колеблясь ничего, кроме беспокойства не создашь. Так что дерзайте:
0) Для самого старта можно взять не книгу, а
этот сайт и быстро впрячься в modern OGL и практику. Это если с английским нормально, если не очень - есть цикл на хабре, первая статья
тут. После такого быстрого старта конкретику можно подтягивать по более академичным трудам.
Следующие книги все перечисляю из собственного архива, а он, увы, весь в оригинале. Поиск переводов ложится на плечи ищущего)
OpenGL
- OpenGL Programming Guide 9th edition. Тот самый Red Book, его уже упомянули: классический выбор и всеобъемлющий обзор OpenGL 4.5.
- OpenGL Superbible 7th edition. Объемная книга, затрагивающая многие аспекты OGL, в том числе новьё из релиза 4.6. Но изложение местами рваное или приведенные листинги не вполне отвечают описательному тексту или коду примеров с гитхаба. Все одно вещь полезная.
GLSL
- OpenGL Shading Language 3rd Edition. Брат-близнец Red Book в приложении к GLSL.
- OpenGL 4 Shading Language Cookbook 2nd Edition
Этого хватит для серьезного копания) А дальше по мере возможностей и интереса - блоги спецов, публикации с GDCVault, SIGGRAPH, GDC и прочая)