Приведу пример своей настройки. У меня тоже не с первого раза все получилось. У регистратора домена указываем DNS-серверы следующего вида: ns1.domain.ru - IP-адрес сервера с ISPConfig и ns2.domain.ru - IP-адрес сервера с ISPConfig (я указывал одинаковые ай-пи для ns1 и ns2). Затем в панели DNS ISPConfig создаем с помощью визарда новую DNS-зону для domain.ru. Далее, помимо записей, созданных визардом, обязательно добавляем A-записи ns1 - IP-адрес сервера с ISPConfig и ns2 - IP-адрес сервера с ISPConfig (у меня, опять же, одинаковые ай-пи). Не уверен точно, но без создания записи ns2 у меня не работало, а сперва хотел обойтись только ns1. Далее создаем при необходимости записи для субдоменов (записи @ ISPConfig не признает, пишем полностью имя).