Касательно железа, я бы посоветовал взять что-то из брендовых тауеров и добавить туда оперативки со временем. Обычный системник тоже хорошо, но живучесть железа существенно ниже при 24/7 работе.
Теперь по софту, используйте ESXi на железе, а в нем уже создавайте виртуальные машини. Там и роутер можно поднять (например на RouterOS или fSense и даже Kerio) и домен и все будет как отдельные сервера.
Если заинтересовала бесплатная замена ActiveDirectory, как выше советовали, посмотрите в сторону ClearOS, там и AD и почта и файловые шары. Но учтите, если эта связка (имею ввиду ActiveDirectory на Linux) - развалится, восстанавливать будет очень сложно.