Зависает сервер по пятницам. В чем может быть причина?

Question

[tmr]

Коллеги, такая беда - сервер под WS2K8 стабильно зависает уже третью пятницу подряд. При этом отваливается диск из второго рэйда, либо второй рэйд целиком. Два раза сервер смог загрузиться самостоятельно (с дальнейшими проблемами с рэйд), один раз завис на моменте определения дисков биосом. Завис происходит в пятницу в районе 6 часов утра.

Диски в рэйде - Seagate Constellation ES, ST500NM0011. Смарт говорит, что один диск в прекрасном состоянии, второй с незначительным кол-вом ошибок чтения и переназначенными секторами.

RAID1, софтовый Intel Matrix на ICH10R

Я бы конечно пинал рэйд и диски в первую очередь, но - почему в пятницу? Почему в 6 утра? Никаких задач на эту дату не назначено!

На всякий случай выдержка из Диспетчера событий:

Сведения	12.08.2016 05:03:30	Microsoft Windows security auditing.	4634	Выход из системы
Сведения	12.08.2016 05:12:19	Microsoft Windows security auditing.	4672	Специальный вход
Сведения	12.08.2016 05:12:19	Microsoft Windows security auditing.	4624	Вход в систему
Сведения	12.08.2016 05:12:19	Microsoft Windows security auditing.	4634	Выход из системы
Сведения	12.08.2016 05:12:46	Поставщик журнала событий …		7036	Отсутствует
Сведения	12.08.2016 05:12:46	WMI-Activity				5857	Отсутствует
----------------------------------- 05:49:03
Сведения	12.08.2016 05:58:05	FilterManager				6	Отсутствует
Сведения	12.08.2016 05:58:05	Tcpip					4201	Отсутствует
Сведения	12.08.2016 05:58:05	Tcpip					4201	Отсутствует
Сведения	12.08.2016 05:58:14	VMSMP				9	Отсутствует
Сведения	12.08.2016 05:58:14	VMSMP				9	Отсутствует
Сведения	12.08.2016 05:58:14	VMSMP				9	Отсутствует


Ошибка		19.08.2016 06:20:23	Microsoft Antimalware			2001	Отсутствует
Ошибка		19.08.2016 06:20:23	Microsoft Antimalware			2001	Отсутствует
Ошибка		19.08.2016 06:21:31	Microsoft Antimalware			2001	Отсутствует
Сведения	19.08.2016 06:22:15	TaskScheduler				301	Работа обработчика задач завершена без ошибок
Сведения	19.08.2016 06:22:15	TaskScheduler				318	Работа обработчика задач завершена без ошибок
Сведения	19.08.2016 06:22:15	TaskScheduler				318	Работа обработчика задач завершена без ошибок
----------------------------------- 06:27:52
Сведения	19.08.2016 08:40:55	FilterManager				6	Отсутствует
Сведения	19.08.2016 08:40:55	Tcpip					4201	Отсутствует
Сведения	19.08.2016 08:40:55	Tcpip					4201	Отсутствует
Сведения	19.08.2016 08:41:04	VMSMP				9	Отсутствует
Сведения	19.08.2016 08:41:04	VMSMP				9	Отсутствует
Сведения	19.08.2016 08:41:04	VMSMP				9	Отсутствует


Сведения	26.08.2016 06:02:54	GroupPolicy				5320	Отсутствует
Сведения	26.08.2016 06:02:54	GroupPolicy				5320	Отсутствует
Сведения	26.08.2016 06:02:54	GroupPolicy				8007	Отсутствует
Сведения	26.08.2016 06:02:54	GroupPolicy				5315	Отсутствует
Сведения	26.08.2016 06:19:12	Поставщик журнала событий …		7036	Отсутствует
Сведения	26.08.2016 06:19:12	WMI-Activity				5857	Отсутствует
----------------------------------- 06:19:31
Сведения	26.08.2016 06:19:35	Поставщик журнала событий …		7036	Отсутствует
Сведения	26.08.2016 06:27:42	FilterManager				6	Отсутствует
Сведения	26.08.2016 06:27:42	Tcpip					4201	Отсутствует
Сведения	26.08.2016 06:27:42	Tcpip					4201	Отсутствует
Сведения	26.08.2016 06:27:46	VMSMP				9	Отсутствует
Сведения	26.08.2016 06:27:46	VMSMP				9	Отсутствует

Answer 1

[Алексей]

По пятницам луна в юпитере, а ровно в 6 утра вспышки на солнце.

Comments

[tmr]

Ага, примерно такое у меня представление о проблеме на текущий момент. А учитывая, что в логах полный 0, остается надеяться, что кто-то с таким уже сталкивался.

[Алексей]

tmr: первое что нужно сделать в этой ситуации смотреть в сторону накопителей и кабелей данных. Тем более судя по описанию у вас не серверное железо, конфиг бы дали.

[tmr]

Алексей: железо вполне серверное X8DTL-iF на 2хXeon E5630 в серверном кузове (1U supermicro, модель не помню, думаю что не важно), с памятью REG ECC. Понятно, что с накопителями что-то не то, но повторяю вопрос - почему в пятницу в 6 утра?
Вариант с физическим воздействием я рассматривал, просматривал записи с камер - ничего.

[Алексей]

tmr: посмотрите в событиях чем занимается система в это время. Стоит ли файловый антивирус, может быть в нем проблема. Какие роли выполняет сервер - это может быть хост виртуальных машин и с диском работают они поэтому логи и пустые. Сетевое взаимодействие с диском?

[tmr]

Алексей: логи событий я приложил в первом сообщении, сам я смотрел глубже, но все примерно в таком виде - стандартная движуха ОС, ничего необычного. Стоит антивирус MSE, ежедневная проверка 00-00. Сервер крутит виртуальные машины, сам ничего не делает. Виртуалки с дисками работают но сами расположены на другом массиве и этот массив затрагивать не должны. Есть сетевое взаимодействие с этом диске примерно в это время, другой сервер забирает по сети бакапы, но он это делает каждый день, а не только в пятницу.

[tmr]

Алексей: на всякий случай дополню - ИБП ничего не регистрирует, проблем с питанием нет.

[Алексей]

tmr: почему по пятницам? Карта так легла. Не пишет видимо в эти сектора в течении недели RAID1 же размазывает по дискам, и бэкапы примерно в это время забираются. Совпадение?

[Roman Sokolov]

tmr: Может у вас инкрементальный бэкап всю неделю, а по пятницам полный?

[tmr]

Роман Соколов: хорошая идея, но нет - каждый бэкап полный. Диски заполнены меньше половины, т.ч. борьбы за каждый свободный сектор тоже нет. Карта так легла - возможный вариант, но три раза подряд? Как-то маловероятно.

Answer 2

[АртемЪ]

Для начала поменяйте диск в рэйде.
Как можно держать в рэйде диск, если у него проблемы?
А уж потом разбирайтесь какие именно задания у вас назначены на пятницу.

Comments

[tmr]

Содержимое массива переехало на другое хранилище, т.ч. за это можно не беспокоиться.
Еще раз про задачи - никаких пользовательских задач на 6 часов пятницы не назначено, среди системных задач я не нахожу каких-то явно заданных на это время.

[АртемЪ]

tmr: Плохо ищите.
Где смотрели?
Например теневое копирование, или еще что.
Запретите всему софту писать на этот диск и посмотрите что будет.

[tmr]

АртемЪ: плохо ищу - да, согласен. Я практически уверен, что происходит массивная запись(чтение) на диск по какому-то неведомому расписанию. Теневое копирования для данного тома отключено.
Запретить писать на диск что-бы удостовериться что дело именно в диске - хороший вариант, попробую после того как смоделирую наступление пятницы.

Answer 3

[tmr]

Коллеги, я еще раз посмотрел отчеты по смарт и обнаружил, что хотя кол-во ремапнутых секторов невелико и не изменяется, но вот кандидатов на ремап (pending sectror) просто огромное кол-во, т.е. у диска откровенные проблемы. Что, видимо, вкупе с тупым софтовым рейдом и вызывает проблемы. Т.ч. я соглашусь с тем, что на время возникновения проблемы скорее влияют фазы луны.

Answer 4

[Roman Sokolov]

Зависает и что происходит? Уходит в BSoD ? Если да, отключи автоматическую перезагрузку и смотри что на экране будет. Сервер физический или VDS? Если виртуалка, может на хосте какие-то задачи вешают. В приведенном журнале нет никаких сведений о перезагрузках. Обычно перед перезагрузкой в журнал пишется причина сбоя. В планировщике задач проверяли задания? Там и системные могут выполняться. Попробуйте для теста время перевести на пятницу ближе к 6 утра.

Comments

[tmr]

Что происходит не знаю - вижу уже по факту - ОС перезагружена, диск отвалился. Либо другой вариант - висит ahci модуль биоса и дальше загрузиться не пытается (дальше должен подгрузиться модуль rapid raid, определить массивы и стартануть ОС). Сервер физический. Пускалка виртуалок - да, на виртуалках пользовательских задач нет, только стандартные ОС, в это время виртуалки работают в холостую.
В журнале нет никаких сведений о перезагрузках - это правда, только уже по факту запись - предыдущее завершение работы во столько-то было неожиданным. Отсюда, кстати, можно сделать предположение, что происходит фатальный аппаратный сбой, иначе бы записи в журнале д.б. бы быть.
Системные задания в планировщике проверял - стандартный набор служебных заданий ОС, ничего такого, что могло бы приводить к зависанию.

Перевести на пятницу попробую, позже отпишусь.

[tmr]

tmr: фокус не удался, все работает нормально.

Answer 5

[Dima Kim]

попробуйте заменить диск, если глюки будут происходить то уже смотреть по логам