Видеокарта для сервера не нужна, лучше взять с встроенной в материнку.
Даже если вы будете использовать не только консоль, зачем вам лишние градусы и вентиляторы в корпусе?
Жесткий диск маловат, если вы хотите делать домашний хостинг и хранить там файлы. Ну как бы не проблема потом докупить отдельный, но может лучше сразу 1-2 терабайта и торрент туда повесить?
Оперативной 2 гб конечно хватит, но память сейчас такая дешевая, лучше взять чуть больше.
ОС рекомендую ubuntu - популярная, полно обсуждений в инете, достаточно надежный дистрибутив. текущая LTS 14.04
Установка большинства линуксов сейчас простое. next-next-next-complete.