Нет такой магической "одной" книги :-) Администрирование -- это работа с кучей СИСТЕМ, ПОДСИСТЕМ, СЕРВИСОВ И ПРОТОКОЛОВ. И по каждому из представителей вышеперечисленного написано по десятку и более довольно толстых книг. А чтобы ковырять домашний сервак -- да, можно обойтись несколькими книжками. Но одной -- точно нет.
Так как... Ну, допустим, начали вы ставить линукс. Сразу начинаются вопросы: "а как разбивать диск?" "GPT или MBR"? Начинается чтение мануалов, а чем GPT отличается от MBR. Следующий же вопрос, тоже по диску: "А какую файловую систему делать? Ext3/ext4/xfs/btrfs/zfs/ufs? Начинается чтение, какие файловые системы поддерживает та ОС, которую вы ставите, чем они отличаются и какая из них предпочтительнее конкретно для вашего сценария.
Потом настройки сети. Нужен IP-адрес. Что такое IP-адрес, для чего он предназначен, и какой нужно присваивать данной конкретной машине? А как она потом будет выходить в интернет. Если я назначу динамический адрес -- откуда он будет браться? Самозародится ли он у меня в сети, или нужно будет что-то предварительно сделать. О, какая-то новая аббревиатура: DHCP. Это чо такое?! И начинается чтение про DHCP...
ОК, у меня дома роутер, он умеет DHCP и вроде как всё настроено. Если я на серваке выставлю "получать адрес по DHCP", то не будет проблем? По идее, не должно... " Через несколько дней: "О-па, а почему это сервак не отвечает на том IP, который у него был позавчера?!
Допустим, систему вы поставили. Надо как-то ею управлять, чтобы каждый раз не бегать к серверу. А чо за слово такое -- SSH? Как его использовать, чем подключаться? Ага, putty... А чего это я при логине ввожу root и пароль, а оно меня не пускает?!
Ну, и так далее, идею дальше развивать не буду :-) Домашний сервер сделать -- это похвальное желание, но до системного администрирования там ещё очень и очень далеко. К тому же, вы не указали, какую ОС собираетесь на этот сервак ставить.
P/S/: Да, и "хочу разбираться в железках лучше" -- это слегка ортогональная ко всему вышеперечисленному тема, там свои ветвления наборов знаний со своими граблями :-)