А у вас, при этом, настроен DNS сервер на вашем сервере, и есть зона для этого домена, так на всякий случай? =)
Использование пары имя/ip NS сервера у регистратора, позволяет решить проблему курицы и яйца, когда NS серверы назначены в самом домене, например, ns1.domain.tld для domain.tld, т.е. вы правильно понимаете.
Далее, резлольвиться внутри домена они тоже должны - для них должны быть и NS, _И_ A записи в зоне.
Простейшая зона, со своими внутренними NS выглядит как-то так( за исключением SOA ):
domain.tld. NS ns1.domain.tld.
domain.tld. NS ns2.domain.tld.
ns1.domain.tld. A 1.1.1.1
ns2.domain.tld. A 2.2.2.2
domain.tld. A 3.3.3.3