EDNS - расширение DNS протокола
Оно работает через UDP (UDP DNS запросы могут быть заблокированы вашим файрволом\провайдером, так, что только TCP DNS запросы будут проходить), а так же использует увеличенный размер датаграм, что тоже может блокироваться файрволом.
Вообще, ваша проблема необязательно связана с тем, что я написал - это только одна из причин, описанная в
статье от Microsoft (касательно любой версии Windows Server)
Как вариант - выключить ENDS или продолжать копать про возможные причины проблем работы DNS сервера MS в связке с EDNS