По организации хостинга — достаточно просто почитать мануалы по настройке безопасности и высокой производительности (оптимизации) по тем продуктам, которые Вы собираетесь использовать — дистрибутиву линукса, веб сервера, php/perl/python, sql/ssh/ftp, настройке selinux/firewall'а/nat'а.
Биллинг и панель управления чаще или самописные или купленные (ISPManager, Plesk, например), в зависимости опять же от решения — если это виртуалки Win — это одно, *nix — это другие системы виртуализации и распределения ресурсов.