Необходимый минимум знаний системного программиста, который имеет дело с архитектурами и ОСями, содержится в уникальной книге: Рэндал Э. Брайант, Дэвид О'Халларон Компьютерные системы. Архитектура и программирование.
По этой книге есть онлайн курс: www.coursera.org/course/hwswinterface

Касаясь вообще, "всего, что должен знать программист" - не могу не посоветовать эту замечательную статью, опирающуюся на элитарное американское высшее образование в области CS, и имеющую самое, что ни на есть практическое применение: habrahabr.ru/post/251747

В институте на лабах для аналоговой симуляции использовал Orcad Capture и Microcap. Первый считается чуть ли не самым достоверным инструментом для моделированияю. Приготовьтесь, что придётся серьёзно вникать в различные параметры полупроводниковых приборов.
Если у Вас это разовый проект, то может быть не имеет смысл ковыряться в моделях, всё равно теория и практика не совпадёт с первого раза, и хочешь-не хочешь придётся отлаживаться на железе. Если будете этим заниматься, сперва ставьте подстроечные пассивные элементы переменного номинала.
Насчёт Proteus и аналоговой симуляции сомневаюсь.

Мне нравится этот автор:
ermak.cs.nstu.ru/cprog/html/052.htm
ermak.cs.nstu.ru/cprog/html/062.htm
Тотальное понимание даст только практика, поищи простые задачки со связными списками.

Попробуйте различные варианты с планками памяти. В найти где-нибудь заведомо работающую память и поставить.
Повнимательнее посмотрите, какие сообщения даёт BIOS/EFI.
Как варианты, может проблемы с теплоотводом от процессора, проверьте температуру.
Или блок питания не тянет.