Перезагружется хост Proxmox, как найти причину?

Question

[comper]

Перезагружется хост Proxmox примерно раз в сутки, по ночам.

last reboot
reboot system boot 4.4.19-1-pve Wed Jul 12 06:09 - 14:56 (08:47)
reboot system boot 4.4.19-1-pve Tue Jul 11 02:15 - 14:56 (1+12:40)
reboot system boot 4.4.19-1-pve Mon Jul 10 05:39 - 14:56 (2+09:16)
reboot system boot 4.4.19-1-pve Sun Jul 9 06:04 - 14:56 (3+08:51)
reboot system boot 4.4.19-1-pve Sat Jul 8 05:12 - 14:56 (4+09:43)
reboot system boot 4.4.19-1-pve Fri Jul 7 06:13 - 14:56 (5+08:42)
reboot system boot 4.4.19-1-pve Thu Jul 6 04:53 - 14:56 (6+10:02)

Самостоятельно в логах ничего не нашел. Грешил на железо. Поменял все кроме дисков. Диски судя по smart в порядке.

Linux 4.4.19-1-pve #1 SMP x86_64 GNU/Linux
ZFS raid1

Comments

[Sanes]

Вы какие логи смотрели?

[comper]

Примерно так, но мог и просмотреть или не понять что-то важное
journalctl -p err -b
journalctl -k
journalctl -b
dmesg
cat /var/log/* | grep error

[Vladimir Zhurkin]

что за сервер, установлены ли все Update, хотелось бы увидеть логи.
dmesg.

Сколько у вас памяти + сколько памяти отведено под машины + сколько памяти отведено под zfs ?
Какой объем у вас swap.

cat /proc/spl/kstat/zfs/arcstats | grep c_

[comper]

Сервер в hetzner px61

Intel® Xeon® E3-1275 v5
64 GB DDR4 ECC RAM
2 x 4 TB SATA 6 Gb/s 7200 rpm HDD

cat /proc/spl/kstat/zfs/arcstats | grep c_
c_min 4 33554432
c_max 4 33672136704
arc_no_grow 4 0
arc_tempreserve 4 0
arc_loaned_bytes 4 0
arc_prune 4 0
arc_meta_used 4 1293603992
arc_meta_limit 4 25254102528
arc_meta_max 4 1293602280
arc_meta_min 4 16777216
arc_need_free 4 0
arc_sys_free 4 1052254208

вывод dmesg
https://pastebin.com/618xzi77

Предположение по поводу zfs очень похоже на правду. По ночам идет большая нагрузка на диски, делается резервное копирование внутри VM и в этот момент хост перезагружается.

[comper]

У меня в системе нет /etc/modprobe.d/zfs.conf, его нужно создать?

Answer 1

[Vladimir Zhurkin]

Скорее всего у вас проблема в том, что ZFS и его L2ARC кеш съедает всю память.
Тогда надо значение кеша поставить минимально возможное, например в 2gb.

https://www.solaris-cookbook.eu/linux/linux-ubuntu...

Другой момент,что если у вас сервер HP может отрабатывать wachdog в определенный момент.
Отключить можно GRUB_CMDLINE_LINUX_DEFAULT="quiet nmi_watchdog=0
Если поможет, надо разбираться дальше почему он отрабатывает.

https://forum.proxmox.com/threads/random-restartin...

Comments

[Vladimir Zhurkin]

comper

У меня в системе нет /etc/modprobe.d/zfs.conf, его нужно создать?

Да вы должны создать /etc/modprobe.d/zfs.conf

Прочитайте еще и

https://pve.proxmox.com/wiki/Storage:_ZFS

Answer 2

[Михаил]

При выключенном Cron проблема повторяется? В других логах еще есть что-то?
Я бы посоветовал вам отсылать dmesg по сети, чтобы увидеть. что было "при жизни" за секунду до падения.

Answer 3

[Пума Тайланд]

имел подобную проблему в проксмокс с ядром опенвз на сендибридже , помог только переезд на другой сервер не сендибридж
увы нет консоле или какие то другие вещи ничего не показали, очень похоже на такой же случай

Answer 4

[Vitaliy]

Привет
Если CPU Intel 6 или 7 поколения то посмотрите сюда
https://lists.debian.org/debian-devel/2017/06/msg0...

Comments

[Vitaliy]

Вам по моему точно надо сделать всё как в выше указа ной инструкции и будет всё ок!!
Удачи!!

[comper]

Спасибо, выключил hyper-threading. Посмотрю поможет ли.

[comper]

hetzner ответил, что биос обновлял и эта проблема не должна проявляться.

[Vitaliy]

Проверьте сами версию биоса и посмотрите на сайте производителя
(если "фуджитсу" то это печальная история)
Я из этого отказался от проксмокса!!

[comper]

не подскажите как посмотреть версию биоса из системы? ОС Debian.

[comper]

нашел
# dmidecode -s baseboard-manufacturer
FUJITSU
# dmidecode -s baseboard-product-name
D3417-B2
# dmidecode -s bios-version
V5.0.0.12 R1.8.0.SR.1 for D3417-B2x
# dmidecode -s bios-release-date
05/16/2017

вроде последняя версия
Что с футжитсу не так?

[Vitaliy]

на "фуджитсу" нет нового биоса!!
https://lists.debian.org/debian-devel/2017/06/msg0...
смотрели сюда ???

[Vitaliy]

А что у Вас в проксмоксе крутиться??

[comper]

Вроде на ftp лежат
ftp://ftp.ts.fujitsu.com/pub/Mainboard-OEM-Sales/P...

В проксмоксе пара win- серверов, и по ночам архивы на него сливаю. В моменты большой дисковой нагрузки ребутится.

[Vitaliy]

disk ssd или hdd ??
рейд есть??

[comper]

hdd.
zfs программный рейд.
Похоже, как в первом посте писали, на ZFS и его L2ARC.
Я уже поменял эту настройку. Сейчас буду наблюдать...

[Vitaliy]

zfs в линукс не даст такой производительности и стабильности как в BSD. https://ru.wikipedia.org/wiki/ZFS#Linux

У меня на hetzner EX41-SSD там стоял проксмокс стабильно раз в 3-5 дней сервак как из розетки вырубали (зависал) в логаг пусто!!! Я перешел на centos 7 настроил kvm перетянул туда свои виртуалки и сейчас все норм уже 45 сукток аптайм.
В ядре самого проксмокса могла быть проблема. (они туда втолкнули всё что надо и не надо)
Хотя до этого момента у меня с proxmox не было проблем и много где он работает стабильно.
Рекомендую перейти на что-то типа centos, opensuse там можно будет поднять BSD и прикрутить туда ZFS
если надумаешь могу дать мануал как я все делал.
Удачи!!!