Для видеокарты вам придётся работать с конкретной моделью и отдельной фирмы. Универсальных нет. Наиболее открытые документации - у Intel и AMD на их же сайтах. Но для этого нужен куда больший опыт по программированию железа. Видеопроцессоры - очень сложные устройства.
Для центральных процессоров достаточно много книг. Но вам надо начинать именно с микроархитектуры современных микропроцессоров. Такая книга называется.
Чтобы легче понять C/C++ будет лучше, если начнёте с ассемблера. Потому что вся специфика C/C++ берёт своё начало оттуда. Особенно указатели. И модели памяти с представлением данных в компьютере тоже очень нужны. Множество вопросов о проблемах в программировании связано именно с этим. Книга "Архитектура компьютера Таннебаум " - это хорошее начало. Вам кажется, что это не то, но со временем все ответы на возникшие вопросы и проблемы лежат именно в этой книге и иже подобной.
Я тоже хотел сделать что-то самое сложное. Но проблема в том, что не было достаточно знаний и опыта в этом деле. Просто начните с малого. Вам важно понять, как всё работает. Даже отлично подойдёт отладочная плата с микроконтроллером ARM с ОС RTOS. Таких примеров даже на русском языке предостаточно. Как поймёте, как они работают, тогда можете взяться за более сложное.
Sic parvis magna.