Salabar

Библиотека для С++, которая просто составляет матрицы для OpenGL называется GLM. Как она работает - любая книга по компьютерной графике, например Порев. Полезно написать софтверное рисование вращающегося кубика, но потом проще использовать её.
Также, для ES должен быть аналог библиотек glew и glut, которые делают большую часть рутинной работы. Первая вызывает тонну функций типа GetProcAddress(...), чтобы всё работало - ничего интеллектуального. Вторая подготавливает экран для отрисовки OpenGL, чтобы не нужно было думать, как это делается на непосредственно целевой платформе. Если у вас есть фреймворк, который включает в себя и первое, и второе, и третье, то ничего, кроме головной боли от попыток всё это слинковать, стремление всё сделать самому не принесет.

Из самой библиотеки все эти средства давно уже убрали.

И, вы не поверите, нужно было перенести блок

glutMouseFunc(mousemove);    
    glutKeyboardFunc(keybord);
    glutIdleFunc(IdleFunc);

После glutCreateWindow(argv[0]);. Это не объясняет, почему работает Idle, но да будет так. Надеюсь кому-то пригодится.