>>Допустим, у нас есть какие-то данные о геометрических примитивах, их цвете, их расположении в какие-то ключевые моменты.
Это векторный формат выходит. Это не совсем видео.
>>С помощью каких библиотек их отрисовывают попиксельно и в итоге соединяют все кадры?
С помощью SDK конкретной операционной системы. Они радикально различаются. Можешь посмотреть код того же mplayer/VLC как кроссплатформенный.
>>Какие языки программирования чаще всего для этого используют?
Си/ASM/OpenCL/CUDA.
Сами алгоритмы невероятно сложные. Для обработки того-же mp4/avc/h264/h265 куча постпроцессинговых фильтров используется. Там очень много нетривиальной математики.