Михаил

а более детальные логи есть?
и на всякий случай проверьте часы на сервере у меня был вариант с DKIM если часы неправильно шли то мог быть фейл

скорее всего это число ограничивается числом одновременных открытых дескрипторов или файлов а это настраивается в параметрах ядра

Насколько я помню NativeDcom реализован на сокетах и не работает в гетерогенных средах

можно скачать source пакет и пересобрать его с необходимыми модулями
где-то тут
можно многое почитать на эту тему

Одним словом. FreeBSD + openLDAP + mpd5 + LdapAdmin + squid
один раз настроить и работает на века в дополнение если надо почту exim + spamassassin + clamav
С такой связкой можно безболезненно работать в т.ч. и к Windows AD подключать и фильтра настраивать.
Главное не ошибиться в выборе железа.