Потому что у Яндекса его почтовый сервер mx.yandex.ru сидит на отдельном его собственном IP, на котором он и отвечает на 25-ом порту.
А у вас IP-адрес один для всего: и для основного домена со всеми его поддоменами, и для mail.domen.ru с его 25-ым портом.
Когда на этот IP на 25-ый порт прилетает запрос на соединение, сетевая подсистема не знает, к какому поддомену или домену создаётся соединение, она знает только IP и порт 25. Поэтому заблокировать "а не тот домен!" не получится.
Выносите почтовый сервер на отдельный IP, к которому будет привязан только mail.domen.ru - и тогда не будут доступны 25-ые порты на других доменах.