Проблема с EDGE сервером, где может быть ошибка?

Question

[sinij]

Добрый день! Уже не знаю что делать и кто виноват.
Инфраструктура
3 DC 2012 R2
3 Exchange 2013 CU 18 в DAG
2 Exchange Edge 2013 в DMZ
(1- старый EDGE 2013 cu15 - edge1.mydomain.ru
2- новый EDGE 2013 cu18 - new-edge2.mydomain.ru)

При отправке почты изнутри во вне через новый edge письма висят на DAG серверах MBX в очереди. При попытке отправить из вне внутрь домена почта успешно приходит. При той же самой операции со старым (edge1) проблем с отправкой изнутри и из вне нет.

История следующая, старый edge2 ушел из жизни, при этом все работало. Подняли новый edge с трудим именем, подписали без проблем, ошибок не было. Назначили старый ip от edge2, test-edgesync происходит без ошибок. В ecp новый edge отображается корректно, get-send\recive connector тоже отображает корректные данные на MBX и EDGE. А теперь сама проблема - если выключить старый edge1 и оставить доступным new-edge2 - MBX сервера как будто знать не знают про него, все копится в очереди и тишина, куда смотреть ?

в логах нашел только

250-X-MESSAGECONTEXT ADRC-2.1.0.0 EPROP-1.2.0.0,

заранее всем спасибо

Comments

[akelsey]

Test-ServiceHealth на новом эдже - точно запущены все службы?
Почему приняли решение поднять EDGE новый на CU18, если старый на CU15 - и какой уровень CU на МБХ?

[sinij]

Test-ServiceHealth прошел удачно

[PS] C:\Windows\system32>Test-ServiceHealth

Role : Edge Transport Role
RequiredServicesRunning : True
ServicesRunning : {ADAM_MSExchange, MSExchangeEdgeCredential, MSExchangeServiceHost, MSExchangeTransport, MSExc
hangeTransportLogSearch}
ServicesNotRunning : {}

2 MBX базируются на EXCH 2013 CU18, 1 MBX на EXCH 2013 CU17
1 EDGE (старый) EXCH 2013 CU 15
1 EDGE (новый) EXCH 2013 CU18

Дальше больше, вычитал что вместо авто определения зон DNS для работы MBX желательно указать настройки конкретной сетевой карты вместо "все сетевые адаптеры" по умолчанию. Теперь вместо "отслеживание сообщение недоступно" (примерно) через GUI ecp выдается конкретная ошибка

Сообщение поставлено в очередь на сервере "mbx-server.local" с 22.11.2017 21:48:39 (UTC+03:00) Москва, Санкт-Петербург, Волгоград. Последняя попытка отправить сообщение была предпринята в 22.11.2017 21:51:00 (UTC+03:00) Москва, Санкт-Петербург, Волгоград и завершилась ошибкой "[{LRT=};{LED=};{FQDN=};{IP=}]".

Вычитал что данная ошибка сообщает о некорректной настройке DNS

[sinij]

akelsey, так же было замечено, что на MBX в оснастке очереди сообщений указано что "next hop domain" - "edge1" (старый), но при этом новый EDGE там не высвечивается. Но на новом EDGE в той же оснастке отображается MBX сервера в "delivery type" "smart host commector delivery". Вот и главный вопрос как добавить на сервера MBX сведения о том, что новый EDGE существует.

В тестовой среде проблем нет никаких, все сервера в DAG работают на EXCH 2013 CU18 и edge на них видится без проблем. В боевой среде какой-то франкенштейн

[akelsey]

sinij, а что у вас в "Source Servers" send-connectors смотрящих на эджи?
Вообще сколько их у вас и посмотреть вывод:
get-sendconnector Ed* | ft Identity, SourceTransportServers

[sinij]

akelsey,

[PS] C:\Windows\system32>get-sendconnector Ed* | ft Identity, SourceTransportServers

Identity SourceTransportServers
-------- ----------------------
EdgeSync - Inbound to domain {SRV-EDGE-2, EDGE1}
EdgeSync - domain to Internet [EDGE1] {EDGE1}
EdgeSync - domain to Internet [EDGE2] {SRV-EDGE-2}

Edge1 - old edge (worked)
SRV-EDGE-2 - new edge (not worked)

[sinij]

akelsey,

[PS] C:\Windows\system32>get-sendconnector | fl *

PSComputerName : srv-exchange-1.DOMAIN.local
RunspaceId : e3ffb43b-4c13-462b-bf37-e2234e810cf4
PSShowComputerName : False
DNSRoutingEnabled : False
TlsDomain :
TlsAuthLevel :
ErrorPolicies : Default
SmartHosts : {--}
Port : 25
ConnectionInactivityTimeOut : 00:10:00
ForceHELO : False
FrontendProxyEnabled : False
IgnoreSTARTTLS : False
CloudServicesMailEnabled : False
Fqdn :
TlsCertificateName :
RequireTLS : False
RequireOorg : False
Enabled : True
ProtocolLoggingLevel : Verbose
SmartHostAuthMechanism : ExchangeServer
AuthenticationCredential :
UseExternalDNSServersEnabled : False
DomainSecureEnabled : False
SourceIPAddress : 0.0.0.0
SmtpMaxMessagesPerConnection : 20
SmartHostsString : --
CertificateSubject :
AddressSpaces : {smtp:--;100}
ConnectedDomains : {}
IsScopedConnector : False
IsSmtpConnector : True
Comment :
SourceRoutingGroup : Exchange Routing Group (DWBGZMFD01QNBJR)
SourceTransportServers : {SRV-EDGE-2, EDGE1}
HomeMTA : DOMAIN.local/Configuration/Deleted Objects/Microsoft MTA
DEL:6b7bc2eb-6f28-4b87-ac20-18c04e4ad1e7
HomeMtaServerId : DOMAIN.local/Configuration/Deleted Objects/Microsoft MTA
DEL:6b7bc2eb-6f28-4b87-ac20-18c04e4ad1e7
MaxMessageSize : Unlimited
AdminDisplayName :
ExchangeVersion : 0.1 (8.0.535.0)
Name : EdgeSync - Inbound to domain
DistinguishedName : CN=EdgeSync - Inbound to domain,CN=Connections,CN=Exchange Routing Group (DWBGZMFD0
QNBJR),CN=Routing Groups,CN=Exchange Administrative Group (FYDIBOHF23SPDLT),CN=Administ
ative Groups,CN=DOMAIN,CN=Microsoft Exchange,CN=Services,CN=Configuration,DC=DOMAIN,DC=local
Identity : EdgeSync - Inbound to domain
Guid : 4bd3be06-4c56-4e43-b12f-75b0c0d2daf0
ObjectCategory : DOMAIN.local/Configuration/Schema/ms-Exch-Routing-SMTP-Connector
ObjectClass : {top, msExchConnector, mailGateway, msExchRoutingSMTPConnector}
WhenChanged : 16.11.2017 10:03:58
WhenCreated : 13.06.2016 16:18:01
WhenChangedUTC : 16.11.2017 7:03:58
WhenCreatedUTC : 13.06.2016 13:18:01
OrganizationId :
Id : EdgeSync - Inbound to domain
OriginatingServer : SRV-DC-2.domain.local
IsValid : True
ObjectState : Unchanged

PSComputerName : srv-exchange-1.domain.local
RunspaceId : e3ffb43b-4c13-462b-bf37-e2234e810cf4
PSShowComputerName : False
DNSRoutingEnabled : True
TlsDomain :
TlsAuthLevel :
ErrorPolicies : Default
SmartHosts : {}
Port : 25
ConnectionInactivityTimeOut : 00:10:00
ForceHELO : False
FrontendProxyEnabled : False
IgnoreSTARTTLS : False
CloudServicesMailEnabled : False
Fqdn : EDGE1.DOMAIN.RU
TlsCertificateName :
RequireTLS : False
RequireOorg : False
Enabled : True
ProtocolLoggingLevel : Verbose
SmartHostAuthMechanism : None
AuthenticationCredential :
UseExternalDNSServersEnabled : False
DomainSecureEnabled : True
SourceIPAddress : 0.0.0.0
SmtpMaxMessagesPerConnection : 20
SmartHostsString :
CertificateSubject :
AddressSpaces : {smtp:*;100}
ConnectedDomains : {}
IsScopedConnector : False
IsSmtpConnector : True
Comment :
SourceRoutingGroup : Exchange Routing Group (DWBGZMFD01QNBJR)
SourceTransportServers : {EDGE1}
HomeMTA : Microsoft MTA
HomeMtaServerId : EDGE1
MaxMessageSize : 36 MB (37,748,736 bytes)
AdminDisplayName :
ExchangeVersion : 0.1 (8.0.535.0)
Name : EdgeSync - domain to Internet [EDGE1]
DistinguishedName : CN=EdgeSync - domain to Internet [EDGE1],CN=Connections,CN=Exchange Routing Group (
WBGZMFD01QNBJR),CN=Routing Groups,CN=Exchange Administrative Group (FYDIBOHF23SPDLT),CN
Administrative Groups,CN=DOMAIN,CN=Microsoft Exchange,CN=Services,CN=Configuration,DC=DOMAIN,DC
local
Identity : EdgeSync - domain to Internet [EDGE1]
Guid : b10637b4-0f42-4704-a4de-3660f5552ab0
ObjectCategory : DOMAIN.local/Configuration/Schema/ms-Exch-Routing-SMTP-Connector
ObjectClass : {top, msExchConnector, mailGateway, msExchRoutingSMTPConnector}
WhenChanged : 10.11.2017 16:52:16
WhenCreated : 10.11.2017 12:33:59
WhenChangedUTC : 10.11.2017 13:52:16
WhenCreatedUTC : 10.11.2017 9:33:59
OrganizationId :
Id : EdgeSync - domain to Internet [EDGE1]
OriginatingServer : SRV-DC-2.DOMAIN.local
IsValid : True
ObjectState : Unchanged

PSComputerName : srv-exchange-1.DOMAIN.local
RunspaceId : e3ffb43b-4c13-462b-bf37-e2234e810cf4
PSShowComputerName : False
DNSRoutingEnabled : True
TlsDomain :
TlsAuthLevel :
ErrorPolicies : Default
SmartHosts : {}
Port : 25
ConnectionInactivityTimeOut : 00:10:00
ForceHELO : False
FrontendProxyEnabled : False
IgnoreSTARTTLS : False
CloudServicesMailEnabled : False
Fqdn : RELAY2.DOMAIN.RU
TlsCertificateName :
RequireTLS : False
RequireOorg : False
Enabled : True
ProtocolLoggingLevel : Verbose
SmartHostAuthMechanism : None
AuthenticationCredential :
UseExternalDNSServersEnabled : False
DomainSecureEnabled : True
SourceIPAddress : 0.0.0.0
SmtpMaxMessagesPerConnection : 20
SmartHostsString :
CertificateSubject :
AddressSpaces : {smtp:*;100}
ConnectedDomains : {}
IsScopedConnector : False
IsSmtpConnector : True
Comment :
SourceRoutingGroup : Exchange Routing Group (DWBGZMFD01QNBJR)
SourceTransportServers : {SRV-EDGE-2}
HomeMTA : Microsoft MTA
HomeMtaServerId : SRV-EDGE-2
MaxMessageSize : 36 MB (37,748,736 bytes)
AdminDisplayName :
ExchangeVersion : 0.1 (8.0.535.0)
Name : EdgeSync - domain to Internet [EDGE2]
DistinguishedName : CN=EdgeSync - domain to Internet [EDGE2],CN=Connections,CN=Exchange Routing Group (
WBGZMFD01QNBJR),CN=Routing Groups,CN=Exchange Administrative Group (FYDIBOHF23SPDLT),CN
Administrative Groups,CN=DOMAIN,CN=Microsoft Exchange,CN=Services,CN=Configuration,DC=DOMAIN,DC
local
Identity : EdgeSync - domain to Internet [EDGE2]
Guid : e310f24d-2f03-4e96-8f71-73d1870e389d
ObjectCategory : DOMAIN.local/Configuration/Schema/ms-Exch-Routing-SMTP-Connector
ObjectClass : {top, msExchConnector, mailGateway, msExchRoutingSMTPConnector}
WhenChanged : 16.11.2017 10:15:29
WhenCreated : 16.11.2017 10:03:37
WhenChangedUTC : 16.11.2017 7:15:29
WhenCreatedUTC : 16.11.2017 7:03:37
OrganizationId :
Id : EdgeSync - domain to Internet [EDGE2]
OriginatingServer : SRV-DC-2.DOMAIN.local
IsValid : True
ObjectState : Unchanged

[akelsey]

sinij, Вот это смущает в коннекторе "EdgeSync - Inbound to domain":

HomeMTA : DOMAIN.local/Configuration/Deleted Objects/Microsoft MTA
DEL:6b7bc2eb-6f28-4b87-ac20-18c04e4ad1e7
HomeMtaServerId : DOMAIN.local/Configuration/Deleted Objects/Microsoft MTA
DEL:6b7bc2eb-6f28-4b87-ac20-18c04e4ad1e7

Т.е. аттрибуты ссылаются на удалённый объект. Наверное имеет смысл переподписать оба эджа (либо удалить все подписки и создать новые - но тут входящая почта начнет генерить NDR).
Еще вопрос - для чего нужно 2 эджа, для высокой доступности или они обслуживают два разных МХ?

[sinij]

akelsey, СПАСИБО ОГРОМНОЕ! Теперь стало понятно, чуть чуть))) Проглядел. Наверное попробую удалить обе подписки, затем подождать пока пройдет репликация по всем DC и по одному буду подписывать заново (я их подписывал по очереди, по идее данной проблемы не должно было быть, но попробую).

"Еще вопрос - для чего нужно 2 эджа, для высокой доступности или они обслуживают два разных МХ?" - во-первых это перестарховка, компания крупная, мало ли что произойдет с одним, всегда выручит второй. Во вторых слишком большой потом почты, примерно по 2000 писем на каждый в сутки.

[akelsey]

sinij, имейте ввиду что EDGE'ы начнут отбивать входящую почту если вы удалите подписку совсем. В вашем случае я бы закрыл портом порт 25ый в ночь - тогда серера отправителей будут думать что сервер не доступен и подключатся позже. После всех работ - порт 25 откроете - почта с задержкой но придет на эджи и отправится по майлбоксам.

По поводу вопроса о двух эджей - выходит что у вас сделано для High Avalability, в таком случае у вас должно быть только два коннектора (у вас 3), оба сервера должны быть в Source Servers. В целом, успехов.

[sinij]

akelsey, спасибо, про порты я в курсе, поэтому чтобы не открывать закрывать порты я провожу возьню по ночам.
А по поводу 2 коннекторов, по умолчанию действительно должно быть всего 2 коннектора, один на внутрь между edge и mbx, второй от edge до интернета (*), но чтобы у каждого EDGE было корректное имя на helo я их разъеденил и вписал для каждого relay.domain.ru

[akelsey]

sinij, не совсем понял тему с банером "helo". EDGE subscription создает безопасный канал общения между EDGE и HUB-MBX, если нужно поменять банер на EDGE для внешних подключений, то это необходимо делать на Receive Connectors самих EDGE серверов.
Но в целом если все устраивает и работает, то и хорошо.