Сделал у себя подобное. От апача отказаться не получится, потому что, как было сказано выше, на нем работает ispmanager, но его уже можно будет подрезать в ресурсах.
Список хостов isp берет из апачевского конфига, поэтому в настройках isp'a мы указываем другой конфиг. Я скопировал реальный под другим именем (apache2.isp.conf) и его указал в /usr/local/ispmgr/etc/ispmgr.conf.
Теперь апач нам не мешает. Но может получиться, что требуется хитрая настройка для хостов nginx. Насколько я знаю, шаблон в isp'е не так просто поменять. Тогда нужно ковырять документацию на тему событий. В моем случае я навесил несколько хуков на определенные действия с хостами и сам формирую конфиги nginx. Для этого сделал файлик /usr/local/ispmgr/etc/ispmgr_mod_vhosts.xml:
<?xml version="1.0" encoding="UTF-8"?>
<mgrdata>
<handler name="vhosts_edit" type="cgi">
<event after="yes">wwwdomain.edit</event>
</handler>
</mgrdata>
И в папку /usr/local/ispmgr/addon кладем vhosts_edit. На чем его написать, ваше дело, хоть на php.
