Почему не работает веб-интерфейс Exchange 2019?

Question

[Сергей]

Есть WIndows server 2019 core с установленным Exchange 2019 CU9
Решил обновить до CU11.
После обновления невозможно зайти в веб-интерфейс. После логина - ошибка 500
Ради эксперимента, установил на чистую машину с нуля windows server 2019 и сразу Exchange 2019 CU11
Ситуация та же самая. Ошибка 500
В логах непонятная ругань, но подозреваю что это совсем по другому поводу. Напоминаю, это чистый компьютер, только что установленное ПО. И есть подозрение что эти ошибки к моей проблеме не относятся.

Есть идеи как полечить? Или откатываться на предыдущее обновление?

spoiler

Не удается найти описание для идентификатора события 1003 из источника MSExchange Front End HTTP Proxy. Вызывающий данное событие компонент не установлен на этом локальном компьютере или поврежден. Установите или восстановите компонент на локальном компьютере.

Если событие возникло на другом компьютере, возможно, потребуется сохранить отображаемые сведения вместе с событием.

К событию были добавлены следующие сведения: 

Owa
Microsoft.Exchange.Diagnostics.ExAssertException: ASSERT: HMACProvider.GetCertificates:protectionCertificates.Length<1
   в Microsoft.Exchange.Diagnostics.ExAssert.AssertInternal(String formatString, Object[] parameters)
   в Microsoft.Exchange.Diagnostics.ExAssert.RetailAssert[T1,T2](Boolean condition, String formatString, T1 parameter1, T2 parameter2)
   в Microsoft.Exchange.Clients.Common.HmacProvider.GetCertificates()
   в Microsoft.Exchange.Clients.Common.HmacProvider.GetHmacProvider()
   в Microsoft.Exchange.Clients.Common.HmacProvider.ComputeHmac(Byte[][] messageArrays)
   в Microsoft.Exchange.HttpProxy.FbaModule.SetCadataCookies(HttpApplication httpApplication)
   в Microsoft.Exchange.HttpProxy.FbaFormPostProxyRequestHandler.HandleFbaFormPost(BackEndServer backEndServer)
   в Microsoft.Exchange.HttpProxy.FbaFormPostProxyRequestHandler.ShouldContinueProxy()
   в Microsoft.Exchange.HttpProxy.ProxyRequestHandler.BeginProxyRequestOrRecalculate()
   в Microsoft.Exchange.HttpProxy.ProxyRequestHandler.InternalOnCalculateTargetBackEndCompleted(TargetCalculationCallbackBeacon beacon)
   в Microsoft.Exchange.HttpProxy.ProxyRequestHandler.<>c__DisplayClass280_0.<OnCalculateTargetBackEndCompleted>b__0()
   в Microsoft.Exchange.Common.IL.ILUtil.DoTryFilterCatch(Action tryDelegate, Func`2 filterDelegate, Action`1 catchDelegate)

И вот такая еще ошибка:

spoiler

Не удается найти описание для идентификатора события 1309 из источника ASP.NET 4.0.30319.0. Вызывающий данное событие компонент не установлен на этом локальном компьютере или поврежден. Установите или восстановите компонент на локальном компьютере.

Если событие возникло на другом компьютере, возможно, потребуется сохранить отображаемые сведения вместе с событием.

К событию были добавлены следующие сведения: 

3005
Возникло необработанное исключение.
29.10.2021 13:16:31
29.10.2021 10:16:31
f48d84f8cce44008afdf34b6ac7c78e6
802
801
0
/LM/W3SVC/1/ROOT/owa-2-132799281827015863
Full
/owa
C:\Program Files\Microsoft\Exchange Server\V15\FrontEnd\HttpProxy\owa\
TESTMAIL
15664
w3wp.exe
NT AUTHORITY\СИСТЕМА
ExAssertException
ASSERT: HMACProvider.GetCertificates:protectionCertificates.Length<1
   в Microsoft.Exchange.Diagnostics.ExAssert.AssertInternal(String formatString, Object[] parameters)
   в Microsoft.Exchange.Diagnostics.ExAssert.RetailAssert[T1,T2](Boolean condition, String formatString, T1 parameter1, T2 parameter2)
   в Microsoft.Exchange.Clients.Common.HmacProvider.GetCertificates()
   в Microsoft.Exchange.Clients.Common.HmacProvider.GetHmacProvider()
   в Microsoft.Exchange.Clients.Common.HmacProvider.ComputeHmac(Byte[][] messageArrays)
   в Microsoft.Exchange.HttpProxy.FbaModule.SetCadataCookies(HttpApplication httpApplication)
   в Microsoft.Exchange.HttpProxy.FbaFormPostProxyRequestHandler.HandleFbaFormPost(BackEndServer backEndServer)
   в Microsoft.Exchange.HttpProxy.FbaFormPostProxyRequestHandler.ShouldContinueProxy()
   в Microsoft.Exchange.HttpProxy.ProxyRequestHandler.BeginProxyRequestOrRecalculate()
   в Microsoft.Exchange.HttpProxy.ProxyRequestHandler.InternalOnCalculateTargetBackEndCompleted(TargetCalculationCallbackBeacon beacon)
   в Microsoft.Exchange.HttpProxy.ProxyRequestHandler.<>c__DisplayClass280_0.<OnCalculateTargetBackEndCompleted>b__0()
   в Microsoft.Exchange.Common.IL.ILUtil.DoTryFilterCatch(Action tryDelegate, Func`2 filterDelegate, Action`1 catchDelegate)
   в Microsoft.Exchange.HttpProxy.ProxyRequestHandler.CallThreadEntranceMethod(Action method)


https://localhost:443/OWA/auth.owa
/OWA/auth.owa
::1
TESTDOMAIN\HealthMailboxd77f0b2
True
Basic
NT AUTHORITY\СИСТЕМА
44
NT AUTHORITY\СИСТЕМА
False
   в Microsoft.Exchange.Diagnostics.ExAssert.AssertInternal(String formatString, Object[] parameters)
   в Microsoft.Exchange.Diagnostics.ExAssert.RetailAssert[T1,T2](Boolean condition, String formatString, T1 parameter1, T2 parameter2)
   в Microsoft.Exchange.Clients.Common.HmacProvider.GetCertificates()
   в Microsoft.Exchange.Clients.Common.HmacProvider.GetHmacProvider()
   в Microsoft.Exchange.Clients.Common.HmacProvider.ComputeHmac(Byte[][] messageArrays)
   в Microsoft.Exchange.HttpProxy.FbaModule.SetCadataCookies(HttpApplication httpApplication)
   в Microsoft.Exchange.HttpProxy.FbaFormPostProxyRequestHandler.HandleFbaFormPost(BackEndServer backEndServer)
   в Microsoft.Exchange.HttpProxy.FbaFormPostProxyRequestHandler.ShouldContinueProxy()
   в Microsoft.Exchange.HttpProxy.ProxyRequestHandler.BeginProxyRequestOrRecalculate()
   в Microsoft.Exchange.HttpProxy.ProxyRequestHandler.InternalOnCalculateTargetBackEndCompleted(TargetCalculationCallbackBeacon beacon)
   в Microsoft.Exchange.HttpProxy.ProxyRequestHandler.<>c__DisplayClass280_0.<OnCalculateTargetBackEndCompleted>b__0()
   в Microsoft.Exchange.Common.IL.ILUtil.DoTryFilterCatch(Action tryDelegate, Func`2 filterDelegate, Action`1 catchDelegate)
   в Microsoft.Exchange.HttpProxy.ProxyRequestHandler.CallThreadEntranceMethod(Action method)


Неверный дескриптор

Comments

[Alexey Dmitriev]

Точно не гуглили и возможно не читали требования к CU и описание процесса обновления.
https://docs.microsoft.com/ru-ru/exchange/troubles...

[Сергей]

Alexey Dmitriev, Гуглил. Многие кстати с такой же проблемой.
Но у многих ее нет. Короче непонятно
А ваша ссылка не открывается. Ошибка 404. Что там?

[Alexey Dmitriev]

https://docs.microsoft.com/ru-ru/exchange/troubles...

[Сергей]

Alexey Dmitriev, Да, это знакомая ситуация. Устанавливал с максимальными привилегиями.
Проблема в чем-то другом. Ниже подкинули идею, пока ее отрабатываю

Answer 1

[Роман Безруков]

Известный скрипт HealthChecker.ps1 запускали перед обновлением?
Условия перед установкой все выполнены (.Net 4.8, обновы для C++ Runtime, модуль URL Rewrite)?
Как давно (в часах) выполняли обновление?
Сертификаты при обновлении меняли (самоподписанный для Exchange Server)?

ПыСы - там еще схему и AD обновить надо...

Comments

[Сергей]

Дело в том, что у нас стоит версия 2019 EX CU9
И с ней никаких проблем
Ставил, как писал выше, на чистую систему. Все условия (.Net 4.8, обновы для C++ Runtime, модуль URL Rewrite) были выполнены, иначе Exchange просто бы не установился.
Ошибка была сразу. мне пришлось потом поставить сертификат и настроить виртуальные каталоги, иначе пользователи начали бы жаловаться.
Но ошибка с любым сертификатом. Как я понимаю, это проблема в самой версии CU11.
Вот и хотел узнать, если кто-то уже ее победил, то как?

[Евгений]

Мне кажется, что там есть требование по апдейтам для Windows 2019 Server. Не проверяли?

[Роман Безруков]

Сергей, недавно ставил Exchange 2016 CU22 и Exchange 2019 CU11 - проблема эта была после установки в обоих случаях.
если кратко: Exchange внутри использует время UTC, затык происходит из-за времени начала действия самоподписанного сертификата, который живет на бэкенде и который надо обновить. Впиливается он командой типа

Set-AuthConfig -NewCertificateThumbprint <Thumbprint> -NewCertificateEffectiveDate (Get-Date)

, только дата/время берется локально с текущего сервера и никак не преобразовывается, а оно может быть. например, UTC+5.
Соответственно, можно сдвинуть часовой пояс на сервере точно в UTC, впилить новый серт и выполнить iisreset /restart и перезапустить Exchange Service Host. А можно просто дождаться, пока внутреннее время Exchange сравняется со временем активации сертификата (-NewCertificateEffectiveDate (Get-Date)) - тогда все само заработает...сам при обновлении 2016 ограничился манипуляциями со временем, в 2019 - ждал примерно 3 часа...
It's not a bug - it's a feature :)
Сам первоисточник утверждает, что после установки этих обновлений Exchange приходит в себя в течение часа (с поправкой на время)

[Сергей]

Роман Безруков, Сейчас проверю. Спасибо!
Но пока Exchange сам не пришел в себя. Почти сутки прошли ))

[Сергей]

Евгений, Все проверял. Все требуемые вещи были установлены.
Сам сервер работает. Проблема именно с вебмордой.
Как бы черт бы с ней, но у меня пользователи некоторые через ВЕБ работают. Хотелось бы разобраться

[Сергей]

Роман Безруков, Скорее всего в этом проблема.
Пока не устранил, но явно какой-то косяк с этим сертификатом.
Get-AuthConfig | fl CurrentcertificateThumbPrint
Выдает сертификат, которого нет в списке.
Пробую поменять
нашел статью кстати про эту тему:

https://docs.microsoft.com/en-us/exchange/troubles...

Если поможет - отпишусь

[Роман Безруков]

Сергей, серт называется Microsoft Exchange Server Auth Certificate?
в помощь

[Сергей]

Роман Безруков, ДА! Получилось!
Спасибо большое!

[Роман Безруков]

Сергей, ну и дабы не расслаблялись - контрольный..:))
Released: October 2021 Exchange Server Security Updates

[Сергей]

Роман Безруков, А я уже сразу последние обновления ставил. Так что теперь все самое свежее стоит )