Как проверить память на сервере?

Question

[synapse_people]

Очень часто (раз в час) вылетает строки в сислог:

Message from syslogd@debian at Apr 15 10:51:23 ...
 kernel:[ 1873.150211] [Hardware Error]: Corrected error, no action required.

Message from syslogd@debian at Apr 15 10:51:23 ...
 kernel:[ 1873.150228] [Hardware Error]: CPU:6 (10:8:0) MC4_STATUS[Over|CE|MiscV|-|AddrV|CECC]: 0xdc4a400053080813

Message from syslogd@debian at Apr 15 10:51:23 ...
 kernel:[ 1873.150238] [Hardware Error]: Error Addr: 0x0000001729eb00e0

Message from syslogd@debian at Apr 15 10:51:23 ...
 kernel:[ 1873.150243] [Hardware Error]: MC4 Error (node 1): DRAM ECC error detected on the NB.

Message from syslogd@debian at Apr 15 10:51:23 ...
 kernel:[ 1873.150274] [Hardware Error]: cache level: L3/GEN, mem/io: MEM, mem-tx: RD, part-proc: SRC (no timeout)

в связи с чем вопрос, я так понимаю проблема в памяти? Как можно ее проверить, если она ECC?

Answer 1

[Рональд Макдональд]

Если есть возможность, то прогоните через memtester. Тут, правда, бабка надвое сказала - память может корректировать битые данные и до memtest ошибка не долетит.

Вообще, ЕЦЦ на то и ЕЦЦ, чтобы администратор не заморачивался ошибками памяти, вот вам даже пишут:

Corrected error, no action required.

Так что лично мой вердикт: не обращайте внимания. Если начнут вдруг крашиться программы и паниковать ядро, вот тогда обращайте.

Comments

[synapse_people]

в том и дело, что некоторые проги падают, я вчера задавал вопрос, что если 100 хромов запускать паралельно, то рандомно падают процессы

[Рональд Макдональд]

synapse_people, ах вот для чего это было надо. А я-то думал, на кой чёрт он этим занимается :)

Падает только Хром? Или какие-то другие сервисы тоже? Если ошибки памяти бывают раз в час, то вряд ли это из-за неё.

Проверьте память через memtester: https://kamaok.org.ua/?p=496

[synapse_people]

Рональд Макдональд, другие тоже падают, но я больше склоняюсь к тому, что это где-то лимит в ядре хитрожопый
Не могу поймать ошибку, ресурсов хватает 100%, даже если 50 одновременно пустить-падает рандомно..
Например, 50 инстансов squid - заработает только ~45 +-

[synapse_people]

synapse_people, memtester все 126 гиг тестить получается? ecc выключать в биосе?

[Рональд Макдональд]

synapse_people,

memtester все 126 гиг тестить получается? ecc выключать в биосе?

Да. Да.

[synapse_people]

Рональд Макдональд, запустил
только это долго будет, и походу не информативно, если ошибка он хоть напишет в какой планке?
Там 16 штук, как угадать в какой ошибка

[Владимир]

synapse_people, многие сервера позволяют посмотреть диагностику через idrac, ilo, etc (зависит от того кто вендор вашего сервера) в idrac у делл можно легко посмотреть на какой планке ошибки.

[Рональд Макдональд]

synapse_people, нет, эта штука просто грузит память и рассказывает об ошибках.
Может, конечно, и скажет, тут я хз.

[synapse_people]

Владимир, там все планки горят зеленым цветом

[synapse_people]

Рональд Макдональд, это критично ?

[synapse_people]

Рональд Макдональд, 37077958880/1024/1024/1024=34.5315401256
значит это планка ответственная за 34-й гиг, но как понять где был этот 34 гиг выделен, там 2 процессора

[synapse_people]

Рональд Макдональд, еще 3 ошибки вылезло, адрес тот же 8a204c0e0

[Рональд Макдональд]

synapse_people, ну разве что методом дихотомии вычислять. Пусть у нас X планок, вытаскиваем из сервера X/2 планок, проверяем память. Если ошибок нет, добавляем половину от оставшихся планок, если есть, то убираем половину установленных и так до победного.

Это быстрее в несколько раз, чем по одной проверять.

[synapse_people]

Рональд Макдональд, попробуем, подожду пока до конца пройдет
Так-то еще 36 планок такой же оперативы лежит для этого сервера, не знал что память тоже может сдохнуть))

[Рональд Макдональд]

synapse_people,

не знал что память тоже может сдохнуть)

Лол, горят наравне с материнками. Процессоры самые живучие, а вот HDD дохнут часто.

Ну вы уловили суть? Отнимаем половину планок и там вычисляем, какая погорела.

[synapse_people]

Рональд Макдональд, понятно, спасибо, сделаем
Но по сути ведь даже если ECC был включен и откорректировал ошибку в памяти, значит байт будет верный, то какого хрена хром падает))
?
Я еще думаю, при запуске 100 хромов все 16 ядер загружаются на 100%, может в этом трабл, а не в памяти? Не хватает тактов или еще что? Нужно их реально все сразу запустить, а не с интервалом 1 раз в 10 секунд..

[Рональд Макдональд]

synapse_people, ну ECC да, вообще-то, всё должен скорректировать. А по Хромому не подскажу, чёрт его знает, что там творится у него внутре.

Принципиально важно запускать именно Хром?

[Владимир]

synapse_people, ошибки ECC (даже исправленные) должны быть там в логах и тд.

Пример лога с ошибками памяти

[synapse_people]

Владимир, у вас нормально этот сервер работает?

[synapse_people]

Рональд Макдональд, нет, запускаем 100 squid-прокси серверов, ситуация аналогичная, хотя они жрут всего 3 гига все вместе

[synapse_people]

ща найду и заменю эту тухлую планку, но мне кажется, почему-то, что ситуация будет та же самая...

[Владимир]

synapse_people, именно эта картинка из интенрета,
подобные проблемы бывали у нас на dell серверах и обычно програмы на сервере падали с segmentation fault и другими рандомными ошибками, меняли память и все становилось ок.

[synapse_people]

Владимир, пока не буду говорить точно, но сейчас память заменил (выкинул половину планок , судя по всему там была не рабочая) - пока все работает (вроде) ок
процессы хотя бы не валятся рандомно
Казалось бы 1 байт кривой , а такой эффект

[synapse_people]

Владимир, и есс безполезное чем только занималось,
Хотя может оно так криво и восстанавливает, т.к. сейчас сервер с отключеным есс работает... нуэно и это будет проверить))