Забавно что народ на слово "архитектура" тригерится именно как на архитектуру ПО хотя у автора архитектура выч. техники скорее.
По факту была похожая беда (начинал попытки своей учебы с кернигана и ричи, но натыкаясь на "магию" которую нужно было запомнить и не понимал - бросал все). Сейчас пришел к компромиссу для себя. Петцольд с его Кодом дали мне оооочень приблизительное и обзорное понимание абстракций от простых элементов к ПК и ОС, и как оно примерно работает, несколько дней асма тоже немного понимания добавила, маленько таненбаума почитал по ОС а дальше я по цепочке достроил в голове что все остальные уровни такие же абстракции и сейчас спокойно пишу под андроид почти не заглядывая под капот, но с пониманием что никакой магии нет и будь необходимо всегда можно вникнуть на любом уровне абстракции.
З.Ы. Я вообще планирую к этому всему вернуться, но уже когда поднакоплю опыта в андроиде, когда времени побольше будет. А сейчас для меня основное это все же набраться практики и использования прикладных библиотек и фреймворков, потому что именно они "решают задачи". А уже потом можно будет вернуться к математике, алгоритмам, ОС, сетям и прочему.
Кстати, если смотреть на вопрос в заголовке - лично мне скорее интересно быть разносторонне направленным, на андроиде останавливаться не планирую. Просто потому что мне так интереснее. Соответственно и смотреть надо именно на то что интересно тебе.