Дмитрий

Во-первых: вероятно то, что вы называете сервером, является всё же кластером.
Во-вторых: не зная как, и на каком ПО он построен, совершенно точно вам никто не сможет сказать, что с ним надо делать.
В-третьих: Все вопросы касающиеся увеличения быстродействия, сводятся к поиску и устранению узких мест. Для этого снимаются различные метрики, и на их основе принимаются решения. И, вероятно, именно это максимально подробный ответ на вопрос, в той форме, в которой вы его задали.

P.S. А про "питались его силой" это прям шедеврально.

Будет.
порядок поиска начинается чуть раньше - по файлу hosts
перепрыгнув через dns кэш и NetBIOS дальше идет обращение к указанному DNS (например провайдера, яндекса, гугла и т.п.)
остальное - не забота компьютера - если у указанного DNS нет информации - он сам спросит у вышестоящих, вплоть до корневых, потом ответит и заодно закэширует на предмет последующих запросов.

На самом деле — хороший вопрос. Вот помню в еще недавние времена OpenVZ на Proxmox — достаточно было загрузить готовый template прямо из вебинтерфейса с предустановленным всем. И настроить. Сейчас, по идее, должно быть так: ищешь готовый докер. Касательно MS Exchange, не знаю как оно в сравнении с "Postfix + dovecot + PostgreSQL + SpamAssassin + greylist + RoundCube + RainLoop", но тогда предложу для разнообразия IBM Domino server . Это такой комбайн, работает и как почтовый, и как вэб, и как сервер баз данных. Ну это немного оффтоп. Посмотрите в сторону Zimbra?

Не мешает уточнить, где нужно ограничивать скорость. Во всей домашней сети, на конкретном компьютере или мобильном устройстве? Есть ли роутер, и, если есть, то какой?

В целом использую такую-же схему, но хотел обратить ваше внимание, что сейчас куча спама поперла из реально зарегистрированных аккаунтов mail.ru, yandex и т.п. Соответственно они спокойно пролазят через все грэй-листинг и спам-ассасины. Тут надо подходить к анализу контента письма, но в этом случае могут и коммерческие предложения в топку улетать.

В моем случае реализовано следующим образом:
1. Имеется imap-папка spam куда посредством фильтров валится спам (пользователь может там найти письмо). Фактически спам не удаляется, а лишь помечается как почитанный, чтобы клиентское по не показывала оповещения на каждый чих
2. Если у пользователя пришел спап, он переносит его в imap-папку спам и через некоторое время адрес и IP отправителя письма добавляется к ручной базе спамеров.
3. Если письмо вытащить из спама, то адрес и IP отправителя помещаются в белый список.
Не сразу конечно взлетело, но схема уже работает как часики и все довольны.

Ни в коем случае не ставить никаких ISP Manager / Vesta / CPanel, иначе никогда не научитесь тому, чему хотите научиться. Кроме того, они жрут ресурсы. Даже Vesta, которая самая легкая, их жрет прилично, а я сильно сомневаюсь, что у вас VPS c 8+ Gb памяти.

Изучать надо по урокам и статьям, читая мануалы и best practices по каждому package. Порядок, плюс-минус, таков:

- развернули ось
- сделали сразу апдейты
- создали и настроили swap
- поменяли пароль рута на что-нибудь супер-мега-сложное (его мы использовать все равно не будем)
- создали себе обычного юзера с паролем нормальной сложности (он будет использоваться для sudo)
- дали юзеру права sudo
- закрутили гайки по SSH - сменили порт, запретили вход руту и вход по паролю (только по ssh-ключам), разрешили вход только одному своему новому логину
- настроили UFW - простой, но эффективный firewall на основе iptables - default deny, allow http, https, свой кастомный ssh-порт. Если логиниться будете только из нескольких мест (офис, дом) - можно вообще ssh разрешить только на эти IP.
- sudo dpkg-reconfigure tzdata чтобы установить свою временную зону, так логи потом легче читать и понимать
- настроили logrotate
- настроили logwatch
- настроили Postfix, чтобы сервер вам письма мог слать (мы его настраиваем на внешний мейлер, например Mandrill, чтобы все письма точно в спам не падали)
- настроили fail2ban (потом, после установки и настройки веб-сервера и сайтов, в fail2ban можно дополнения писать, например мы на WordPress-сайтах мониторим попытки авторизации в админку и блочим тем же fail2ban)
- дальше ставим все что нужно - Git, Nginx, HHVM, PHP5-FPM, MariaDB, Memcached/Redis и так далее.

Регулярно заходите на сервер, делайте apt-get update && apt-get dist-upgrade.

p.s.: это по ubuntu/debian, для других систем все то же самое, но packages и команды могут немного отличаться