Как периодически мониторить ошибки памяти (EDAC,ECC) в linux(существует ли комплексное решение для мониторинга здоровья сервера)?

Question

[gremlintv2]

Здравствуйте,
Столкнулся с очередной задачей по мониторингу:
Необходимо по крону раз в час отлавливать скриптом (ну или сервисом) ошибки памяти и репортить о них в алерт канал(почта, месенджеры итд итп)
Какие есть для этого решения?
Нашел эту статейку, но почему-то данный скрипт ругается на отсутсвие целочисельного значения.(может так и должно быть.)
В общем и целом ищу комплексное решение для мониторинга хардварной составляющей сервера для отправки в prometheus и мониторонга(частичного алертинга) через grafana, но пока почти все самописное:

• температура(node_exporter).
  
• HDD/SSD(smartmon-tools + скрипт)
  
• NVME (nvme-cli + скрипт)
  
• RAM (на очереди )) )
  

Спасибо

UPD: нашел скриптик для чека edac и системных сенсоров не проверял
еще один с использованием mcelog

Answer 1

[VoidVolker]

Zabbix

Comments

[gremlintv2]

я тоже так умею: Nagios )

[VoidVolker]

Ну вот, уже как минимум два варианта у вас есть. Выбирайте любой понравившийся и используйте. Заббикс из коробки умеет кучу вещей, и в целом очень гибкий и функциональный инструмент мониторинга.

[gremlintv2]

VoidVolker, как это касается общего мониторинга хардварной части системы? Плагины какие-то нужно ставить или оно все само из коробки идет, так что поставил агент, сервер, борд и вуаля - все из коробки показывает все возможные хардварные показатели и зависимостей никаких устанавливать не надо? :)

[CityCat4]

Пардон, это именно сервер (серверная мать, серверный проц, iKVM/iLO/iDRAC...)? Или просто десктоп в роли сервера?

[gremlintv2]

CityCat4, ипменно сервер

[CityCat4]

gremlintv2, IPMI. Не знаю, как для винды, для линуха есть freeipmi - показывает все, что может показать bios. Для HP есть iLO и у него есть свои мониторинги, для Dell есть iDRAC - и у него соответственно свои.

[gremlintv2]

CityCat4, существует ли комплексное универсальное решение? (Плагины в случае с Zabbix, Nagios)

[VoidVolker]

VoidVolker, как это касается общего мониторинга хардварной части системы? Плагины какие-то нужно ставить или оно все само из коробки идет, так что поставил агент, сервер, борд и вуаля - все из коробки показывает все возможные хардварные показатели и зависимостей никаких устанавливать не надо? :)

Все стандартные вещи вроде памяти, нагрузки на процессоры и прочее мониторится из коробки: поставил-настроил сервер, поставил агент, подключил его к серверу — далее на сервере выбираешь создаешь элемент мониторига и добавляешь параметры, которые надо мониторить (манов в сети полно). Если того, что есть из коробки мало — на сервере легко добавляются шаблоны из интернета для все популярных или не очень вещей. Для многих популярных серверов (и других девайсов/сервисов, например принтеров, АТС, IP телефонов и прочего) есть уже готовые шаблоны с поддержкой всяких фирменных или других специфических вещей, фич или железок. Для быстрого старта можете просто скачать готовую виртуалку и посмотреть что там есть и чего вам не хватает. Достаточно один раз разобраться и дальше жизнь без мониторига будет серой и скучной =)

Вот примеры шаблонов: https://share.zabbix.com/cat-server-hardware/all

[CityCat4]

gremlintv2, Нет. Nagios по крайней мере нужно достаточно долго и вдумчиво доводить до ума. Да, в пакете nagios-plugins будет мнооооооооооожество агентов - для мониторинга всего на свете, но вот ipmi там не будет - это все нужно ставить самому. Настройка nagios - весьма долгое занятие потому что конфиг пилится под конкретные сервера/сервисы - приходится искать агентов мониторинга по всему тырнету, иногда их самому допиливать или даже писать с нуля :)
Хотя для IPMI/iLO/iDRAC я могу поделиться :)
У меня это выглядит так:

[gremlintv2]

CityCat4, спасибо )

Answer 2

[zersh]

Mcelog отлично подходит, через крон отправлять отчёт.

Второй вариант: если сервер имеет ipmi / bmc
Собирать инфу и здоровьи сервера. Например через ipmitool или snmp.

Comments

[gremlintv2]

Спасибо, но пишут что mcelog уже не актуален для новых ядер, может я ошибаюсь