https://www.ispsystem.ru/software/ispmanager
> Что подскажете для операционной системы?
Я на Ubuntu 14.04 поднимал, товарищ на CentOS 6
> Может есть тот диструбьютив, который более защищен?
Защиту Вы сами ставите, начать хоты бы с fail2ban.
> Может стоит разделить сервер по типу VDS и на 1 половине сделать Apache, на 2 Nginx?
У товарища стоят 2 в одном, вот пример
i.imgur.com/deho5S2.png
> Советы по поводу DNS сервера?
Поднимать свой, настраивать.
> Может есть советы?
Могу вас свести, он этим профессионально занимается, а я так, любитель. У него учусь ;)
> Советы по поводу RAID?
> Советы по выделению ram на сайт?
> Может предложения по защите?
Так же это сможет объяснить простым языком.
Вообще большинство хостингов используют ISP или другие готовые решения. Писать своё сейчас слишком дорого, а в условиях большой конкуренции вы ничего не заработаете.