Почему перезапускается сервер Dell R330?

Question

[louvremaster]

Есть несколько серверов Dell R330 с процессором E3-1270v5, на всех наблюдается одна и та же проблема, периодически и самопроизвольно сервер перезапускается при этом ругнувшись в ipmi-лог:
57 | 03/31/2017 | 22:47:26 | Unknown #0x2e | | Asserted
58 | 03/31/2017 | 22:47:26 | Processor #0x0d | Transition to Non-recoverable | Asserted
59 | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
5a | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
5b | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
5c | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
5d | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
5e | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
5f | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
60 | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
61 | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
62 | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
63 | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
64 | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
65 | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
66 | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
67 | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
68 | 03/31/2017 | 22:47:26 | Unknown #0x28 | | Asserted
69 | 03/31/2017 | 22:47:27 | Unknown #0x28 | | Asserted
6a | 03/31/2017 | 22:47:27 | Unknown #0x28 | | Asserted
6b | 03/31/2017 | 22:47:27 | Unknown #0x28 | | Asserted
6c | 03/31/2017 | 22:47:27 | Unknown #0x28 | | Asserted
6d | 03/31/2017 | 22:47:27 | Unknown #0x28 | | Asserted
6e | 03/31/2017 | 22:47:27 | Unknown #0x28 | | Asserted
6f | 03/31/2017 | 22:47:27 | Unknown #0x28 | | Asserted
70 | 03/31/2017 | 22:47:27 | Unknown #0x28 | | Asserted

Прошивки BIOS, IDrac, RAID-контроллера и тд свежие
Перезагрузка происходит без разных kernel-panic, в креш ничего не пишется при этом, поведение как дердгается по питанию, но при этом не замечается никаких проблем с питанием.
Кто-нибудь сталкивался с подобным?

Answer 1

[Axian Ltd.]

Что-то не так с процессором ИМХО:
58 | 03/31/2017 | 22:47:26 | Processor #0x0d | Transition to Non-recoverable | Asserted
Возможно перегревается. Посмотрите детальное ipmi сообщение.
Люди пытались найти решение, ИМХО максимум что получилось linux.debian.user.narkive.com/DuJ14QIu/machine-che...
Перезагружается потому как, видимо, так настроено в ipmi реагировать на сбои. Другой вариант - народ грешит на баг в ядре, из-за которого ядро не видит аппаратного сбоя.
В И-нете немного на тему "dell Unknown #0x28".

Comments

[louvremaster]

Что-то тут видимо другое, я гонял несколько дней stress test, так и не упал сервер, а при не загруженном так сервере, берет и падает сам по себе.
Ядра ставил разные, сейчас стоят cloudlinux-ядра и elrepo 3-ей ветки - эффект один.

[Axian Ltd.]

В одном из постов автор столкнулся с аналогичной ситуацией после перехода на другую ветку ядер. В любом случае ИМХО стоит выковырять детальное описание ошибки - возможно что это действительно косяк ядра. BTW - сколько физических процессоров у вас в машине?

[louvremaster]

Axian Ltd.: Dell R330 поддерживает один процессор.

[Axian Ltd.]

Глянул в исходники ipmi tool (https://github.com/scottjg/ipmitool/blob/master/in... 0x28 - коды ошибок связанные с неисправностью сенсора. Получите с помощью ipmi tool Dell полное описание залипук. Может и продвинемся в понимания происходящего. Хотя сразу и на нескольких машинах... больше подходит на баг в ядре (видимо что-то неверно инициализируется). А момент появления этого явления как-то можно определить и связать с какими-то изменениями в оборудовании/прошивках?

[louvremaster]

Скорее в ipmi-логе это уже последствия самой перезагрузки. То есть что-то происходит до, оно кстати, после такого ребута требует еще и F1 жать (отключаемая опция).
Софт одинаковый на серверах (в том числе и ядра), такой же как и на другой платформе R430, там таких проблем нет, потому думаю тут проблема железная, но какая только вот.