Microsoft Exchange 2016 перестал работать после миграции на другой хост. Как исправить?

Question

[James8888]

Добрый день всем

Наш виртуальный почтовый сервер Exchange 2016 долгое время работал на слабеньком хосте. (Xeon Silver, 7.2K HDD) Данная виртуальная машина с увеличением пользователей и почтовый ящиков становилось всё больше и массивное, что привело к проблемам на хосте где был расположен данная виртуальная машина. Доводилось что в неделю в среднем 2 раза в течении нескольких часов полностью переставал работать, приходилось перезагружать виртуальную машину. В выходные решили мигрировать виртуальную машину на более мощный хост (VSAN Cluster, Xeon Gold, 10K HDD). Миграция проходило очень долго, более суток. Но сегодня закончилось. Виртуальная машина, Exchange сервисы очень быстро запустились без каких либо ошибок. Все службы связанные с Exchange выполняются. Однако при попытках войти в ECP, OWA или подключится через Outlook, ничего не получилось. При попытках подключится через Exchange shell, выходит ошибка по тайм-ауту. Помогите пожалуйста
Что я попробовал:

• Проверил сертификат - срок ещё больше года
  
• Перезапустил сервер/ сервисы/ IIS - не помогло
  
• Отключил антивирус, добавил в исключение WinRM
  

Comments

[Valentin Barbolin]

Открываем логи и читаем. Вариантов, что может пойти не так 1001.

[Роман Безруков]

Чтобы такого не было, а также учитывая условия (большое количество пользователей, объем почтового трафика и почтовых баз, критичность для бизнеса и т.д) обычно поднимают второй сервер и настраивают DAG

Answer 1

[James8888]

Нашли проблему, всё дело было в антивирусе. За день до миграции был установлен Касперский, первый день всё работало нормально, так как никаких возможных "угроз" антивирус ещё не нашёл. Однако после включения виртуальной машины антивирус начинал проверять запускаемые файлы и маркировал системные файлы Exchange, IISDB.DLL тоже, как бэкдоры и закрывал доступ к ним, вот и миллион записей с ошибкой недоступности IISDB.DLL в событиях. Даже после отключения, удаления антивируса, файлы оставались недоступными. Откатили системный диск до того как был установлен антивирус, базу не трогали, и работоспособность сервера полностью восстановилась.
Всем спасибо за вашу помощь, в дальнейшем планируем внедрить хоть какую нибудь отказоустойчивость.

Comments

[CityCat4]

Хм. Лечить больной зуб ударом в челюсть? Ну, тоже конечо можно... Эксч должен обязательно быть прикрыт антивирусником, потому что есть офисные заразы, которые цепляются к оутлуку, а через него пролезают в эксч - и потом распространяются на другие оутлуки через него.

[Роман Безруков]

хм...есть же список исключений для антивирусных программ, которые работают на серверах Exchange - Running Windows antivirus software on Exchange servers

[James8888]

Роман Безруков, Да, будем постепенно внедрять эту политику

Answer 2

[MVV]

Чтобы вам помочь по существу, информации откровенно не хватает.
Для ее получения, во-первых, надо анализировать журналы событий: какие там ошибки и предупреждения, во-вторых - логи IIS. У вас явно что-то с IIS. Запуск служб может не говорить ни о чем: например, вполне может не монтироваться БД (кажется, не ваш случай, но...).
EMS не работает по понятной причине - он тоже в норме через IIS работает. Но если надо - то можно из Powershell добраться напрямую к Exchange: импортировать в сессию нужный для этого модуль командой

Add-PSSnapin Microsoft.Exchange.Management.PowerShell.SnapIn

Запускать Powershell для этого надо пользователем, входящим (прямо или косвенно) в группы администраторрв леса и домена, где стоит Exchange, и администратора на самом Exchange, в режиме адинистратора.

PS Как мигрировали-то? Вопрос, потому что сценарии миграции для виртуализованного Exchange поддерживаются весьма относительно. В частности, миграции через сохранение состояния VM не поддерживаются. Live Migration на Hyper-V поддерживается, на других гипервизорах - надо смотреть.

Comments

[James8888]

- В журналах событий очень много вот этой ошибки
Не удалось загрузить модуль библиотеки DLL C:\Windows\temp\iisdb.dll. Данные представляют собой код ошибки.

- Так как миграция выполнилась сегодня днём, логи IIS ещё не сгенерировались. Генерируются каждое утро в 5 часов
- Я пока не могу трогать PowerShell, так как переустанавливаю обновление CU23, возможно поможет
- У нас виртуальная среда поднята на VMware vSphere. Мигрировали в выключенном состоянии между двумя vCenter. Первый версии 7.0.1, второй 7.0.3

[Дмитрий Шумов]

Тулзы обновили на Exchange?

[MVV]

James8888, журналы (AKA логи) IIS - это обычные текстовые файлы, они пишутся в реальном времени, а каждое утров в 5 часов просто запись переключается на другой файл.
По поводу ошибки из журнала событий - похоже, это то, что мешает IIS. В чем именно проблема - сказать трудно - нужно видеть код ошибки. Но местоположение dll - странное, в папке для временных файлов. И название странное - поиск по интернету его не находит. Проверьте сервер антивирусом. А если там есть антивирус и включена защита для диска - посмотрите, не нашел ли у вас там антивирус что-нибудь.
PS Миграция, судя по всему, вполне поддерживаемая.

[James8888]

Дмитрий Шумов, Да обновлены

[James8888]

MVV, Вы про HTTPERR лог файлы? Я их посмотрел, по правде я не понял как их читать
Антивирус есть, никаких ошибок не показало, запустил полную проверку
Ошибка с IISDB.DLL там всё что написано только вот это
Не удалось загрузить модуль библиотеки DLL C:\Windows\temp\iisdb.dll. Данные представляют собой код ошибки.
КОД: 2280
Источник: IIS-W3SVC-WP

[MVV]

James8888, код 2280 - событие ошибки общего характера: неудачная загрузка DLL. А конкретная ошибка - на вкладке Подробности, которую вы не привели (вообще, лучше копировать событие в текстовом виде - для этого есть кнопка, и вставлять в пост - там будет вся информация).
Короче, корень проблемы, судя по всему - в этой DLL. Имя DLL выглядит для меня странно, в поиске в интернете она не ищется. Поскольку антивирус молчит, а вы - банк, то имеет смысл уточнить у безопасников, не из их ли хозяйства эта DLL. Загляните ещё в глобальную конфигурацию IIS - C:\WINDOWS\system32\inetsrv\config\applicationHost.xml - не прописан ли там этот файл.

PS У вас поддержка от MS куплена? Если да, то это - кейс для них.

[James8888]

MVV, В подробнее то же самое, только указано код ошибки - 7E000000
Сейчас уже выключил сервер и пришлось откатывать, возвращаю на изначальный хост, если и там то же самое будет, придётся восстанавливать с бэкапов виртуалку

PS Поддержки нету, наверное после этого купим =)

[Роман Безруков]

James8888, у вас в пуле приложений IIS ничего лишнего нет?
P.S. специально проверил на своем Exchange - нет такой библиотеки (iisdb.dll)

[James8888]

Роман Безруков, Там всё стандартно:
- Default web page
- Exchange back end

[James8888]

MVV,
Имя журнала: Application
Источник: Microsoft-Windows-IIS-W3SVC-WP
Дата: 04.09.2023 9:21:20
Код события: 2280
Категория задачи:Отсутствует
Уровень: Ошибка
Ключевые слова:Классический
Пользователь: Н/Д
Компьютер: Exchange.tengebank.uz
Описание:
Не удалось загрузить модуль библиотеки DLL C:\Windows\temp\iisdb.dll. Данные представляют собой код ошибки.
Xml события:



2280
0
2
0
0
0x80000000000000

20434783


Application
Exchange.tengebank.uz



C:\Windows\temp\iisdb.dll
7E000000

[Роман Безруков]

James8888, не...я говорю про ветку Application Pools, а вы мне перечислили ветку Sites

Answer 3

[Дмитрий Шумов]

А на старом хосте, естественно ничего не осталось?
Ну самое легкое, что первое приходит в голову - возвращаете все взад, убеждаетесь, что на старом месте все работает, на новом поднимаете новый Exchange и выполняете миграцию на него. Тут уж можно и 2019 заодно поднять. При любом раскладе у вас в какой-то момент будет один, но работающий сервер.
Ну это вот так, особо не задумываясь, чтоб проще было...

Comments

[James8888]

Да на старом хосте не осталось
Если ничего не получится придётся возвращать назад, только ждать снова столько часов

[Дмитрий Шумов]

А вы случаем не на горячую делаете? Если есть возможность, стопните машину и переносите выключеную.

[CityCat4]

Например слетела активация винды. Параметры машины сильно изменились. И (вот тут не помню, кто хорошо знает винду, может подскажет) - если эксч лицензированый, то лицензия может оказаться по ядрам проца - и ее не хватает!

[James8888]

Дмитрий Шумов, Да перенос был выполнен выключенным, vSphere наш не дал возможности смигрировать на горячую

[James8888]

CityCat4, Да лицензия Винды прилепляет к материнке, а она изменилась. Но если была бы ошибка или проблемы с лицензией Exchange, тогда вылетела бы ошибка

[Дмитрий Шумов]

CityCat4, не, абсолютно пофиг.
James8888, Есть еще варик - с сетью намудрили..... Проверьте сеть,вланы.. И DNS не забудьте (ну это так, на всякий случай)
Ну и да, как советует уважаемый Valentin Barbolin - читаем логи...

[James8888]

Дмитрий Шумов, С сетью всё в порядке, связь между АД и Exchange есть. Все клиенты видят Exchange server.
По логам - смотрел события, и там огромное число ошибок с IISDB.DLL

[CityCat4]

James8888, База крякнула? Ищите чекер, который ее проверит. Хотя вообще при холодном переносе такого не должно было быть..

[James8888]

CityCat4, Базу проверил, всё нормально

[CityCat4]

Если попробовать зайти в OWA по IP - что будет?

[James8888]

CityCat4, Тоже самое как и с ДНС, пишет что сертификат ненадёжный и всё, больше ничего

[Роман Безруков]

James8888,

пишет что сертификат ненадёжный

А цепочка сертификатов (корневой, промежуточный) на месте?

[CityCat4]

James8888, Сертификат свой или мировой? Включает ли сертификат имя autodiscover.имя-домена? Имя autodiscover.имя-домена должно присутствовать обязательно, без него не работает автообнаружение эксча в оутлуке и адресная книга валится.

[James8888]

CityCat4, Сертификат свой, autodiscover работает, при запуске Outlook оно сразу видит сертификат