Как работает Windows - знает только M$. Почему? Потому что исходники закрыты. Есть, конечно, документация, есть API для разработчиков, в которой написано, как при помощи вызова функции Х получить результат Y. Но как работает сама функция Y - нигде не сказано и сказано быть не может. Потому что низя - исходники есть собственность M$.
В разное время выпускались различные "Windows unleashed", "Windows inside" и прочее, но весь ее inside заключался в более детальном описании настроек - точного, подробного, детального описания внутреннего строения и взаимодействия компонентов нигде, кроме как во внутренней сети M$ нет. Равно как нет и детального описания реестра (registry).
Алгоритмически, реестр предстаавляет собой древовидную БД - частный случай графа. В некоторых ключах есть значения, в некоторых нет. БД эта предназначена для хранения настроек программ, какой либо обязательной структуры она не имеет, хотя имеет типичные, формируемые самой ОС деревья. Никакой документации по содержимому реестра нет, каждый автор использует его как считает нужным и, как правило, не считает нужным это документировать вообще. Все книги типа "Секреты реестра Windows" - это просто сборники того, что в UNIX называется howto - примеров, взятых из практики.
Если Вы действительно хотите этим заняться, то будьте готовы к тому, что это весьма небыстрый процесс. Сначала можете изучить все, что есть в открытом доступе - все эти Windows unleashed и Registry inside, потом документация для разработчиков, форумы - какие-то куски можно будет там уловить.