Perkov

Можно посмотреть, какие порты на рабочей машине в статусе listen, можно посмотреть на установленные соединения, сравнив из со списком задач, можно поискать недавно установленное ПО и т.д. Вариантов - масса.
Главное - зачем?
Если УБ поставило - значит что-то ищут. Если увидят лишнюю активность... то такое как правило заканчивается тем,что им выписывают премию за проявленную бдительность.

Авторизация — вопрос принципиальный, или будет выделеный хост, где соединитель будет жить и от этого хоста можно выставить прием писем без авторизации?

А я бы не стал так категорично отметать сеть. Гигабит гигабиту — рознь… Физ доступ есть к серверу?

Служба firewall может быть выключена, но при этом сам firewall — включен. Включить службу, выключить firewall, выключить службу.

а логи event viewer смотреть не пробовали? там такое должно быть.

Можно прочесть много книг, но они не научать думать, как системный дминистратор.
Установить дома песочницу (вмварь), насетапить там 2-3 линуксовые машины (наименее знакомые) и поставив перед собой ИНТЕРЕСНУЮ задачу (имеющую решение теоретически) постараться решить ее, пользуясь гуглом и учебниками.