Сломались все почти VM на proxmox, как такое произошло?

Question

[Павел]

у меня около 20 VM на сервере, как линукс так и виндовс сервера, в один момент за несколько часов почти все VM поломали свои внутренние файлы, как простые документы так и системные файлы ОС, я досих пор не понимаю как такое может произойти.
файлы хранятся на RAID10 из 8 дисков, с самими дисками все нормально, если бы было какое то серьезное повреждение то умерли бы все VM и повредили файлы.. но несколько VM совсем не пострадали
на умерших VM я загуржался с загрузочной флешки и смотрел файлы , что странно у всех файлов было вермя изминения почти одинаковое, если бы это было просто повреждение, то оно бы не меняло дату на файле
В логах никаких ошибок нет совсем, я с трудом восстановил сервер из резервных копий, но нужно понять в чем дело что бы не повторить ситуацию, кто может что то посоветовать?

Comments

[Юрий MikroTik]

По описанию похоже на шифровальщик

[Павел]

Юрий MikroTik, я тоже сперва так подумал, но некоторые VM не тронуты, а если бы шифровало то меняло названия файлов, были бы какие то следы, скрытые файли и т.п , но даже в таком случае затронуло только win сервера, например, или все win сервера, а некоторые остались не тронуты как и linux так и windows

[historydev]

В чём проблема откатиться с бэкапов и следить за состоянием до повторения ситуации?

[Павел]

historydev, ну у меня сейчас нет выбора. Только это и остается, но это не решение проблемы, жить между бекапами

[historydev]

Ты упустил вторую часть предложения, которая подразумевает поиск причины во время наблюдений и последующее её устранение.

[SunTechnik]

1. Что используется в качестве сервера?
(Если память с ECC, то о корректируемых ошибках были бы сообщения и в логе сервера и в логе BMC.
2. Какая файловая система / тип стораджа используется для хранения виртуальных машин?

3. Судя по количеству машин - это организация. Используются ли антивирусы на рабочих местах? Есть ли доступ к повреждённым машинам из интернета?

4. Какие закономерности есть в повреждённых файлах? (это сетевые шары, системные файлы повреждены только на Windows или и на Linux тоже?

Из общих соображений - что бы случайный сбой (память, сбой диска, контроллера) повредил выборочные файлы, измени у них даты создания и при этом осталась целая файловая система (не потребовал восстановления) - звучит как фантастика.

Более правдоподобно звучит как повреждение именно файлов из самих vm.
А что это было: шифровальщик, взлом, внутреннее вредительтво - сможет ответить только анализ логов, событий входа.

Как именно повреждались файлы (сохранили ли свой размер, новое содержимое - это случайный мусор, нули, осознанное содержимое)?

[Павел]

SunTechnik, спасибо за уделенное время, приятно читать такие наводящие вопросы

память ECC REG , это же сервер, не просто колхоз пк, в логах ошибок нет или я не там смотрел, сам сервер в дата центре и я к нему доступ имею по IDRAC

сам проксмокс установлен на ZFS рейд из двух nvme дисков, все VM установлены на физический рейд контроллер из 8 дисков в raid10 массиве который размечен в ext4 , сами VM scsi, а дальше если win то NTFS , если линуксы то чаще LVM ext4 zfs , по разному

почти все машины имеют доступ только по vpn или через веб интерфейс, все ssh порты закрыты конкретно + ключи

файлы повреждены как внутри vm так и сами файлы qcow2 (я так думаю) , не все, но 2 VM совсем отказались видить эти образы, даже когда я загружаюсь с WinPE и подкидываю SCSI драйверы, диска нет. Файлы на файл шаре win serv 25 , имели нужный размер, нужные названия, все выглядело нормально но как именно повреждены не ясно, я пробовал распаковать например xlsx файл или docx но они не распознаются как архив. Повреждены не просто файлы , а и загрузочные сектора, несколько VM стартонули после самопроверки файловой системы

антивирусов нет (посоветуйте?)

По файловой системе, возможно она и была повреждена но сам проксмокс так не думает, а внутри мертвых VM уже нечего не узнать

Более правдоподобно звучит как повреждение именно файлов из самих vm.

я бы так и подумал если бы только не 2 машины у которых совсем перестал быть виден qcow2 образ, даже с загрузкой с флешки и нужными драйверами (на аналогичных vm и на этих же но сильно раньше я так делал и все удавалось)

по вирусам и взломам я не особо верю, потому что думаю повредились бы все диски, а так несколько vm совсем не тронула эта проблема

по дискам в дата центре провели анализ и ошибок не выявили

я не могу сказать что у этой проблемы был какой то типовый характер, почти все VM поламались по разному, если это ОЗУ то почему файлы которые никто не трогал изменили дату последнего изминения? Если это был взлом то почему даже поврежденные ОС легко восстановились почти сами по себе? Если получили бы доступ к proxmox хосту то зачем ломать голову проникая в кучу VM если можно уничтожить сразу всё..

я никогда не встречал настолько разносторонних проблем в течении буквально одного часа.

Вот еще вспомнил, у меня есть вики в одной из vm, когда начались проблемы, она работала, затем перестала, после перезагрузки снова ожила, а еще спустя время убилась окончательно

Такое может быть только если бы это были 1VM = 1 hdd и они просто умирают

[Zerg89]

Без данных мониторинга на анамальное поведение, остается только пойти к гадалке

Если с дисками все впорядке то может это raid контроллер чудит(по мониторингу смотреть на i/o wait нескольких vm)

Переполнение памяти небыло? Zfs вроде только памятью можно поломать

Стабильность и мощность питания в момент сбоя(повышенная нагрузка ведущая к недостатку питания некоторых компонентов, как пример кз в части контроллера hdd который очень редко задействуется приведщая к отключению/перезапуску/пролагу контроллера так как диск просадил питание)

[Daemon23RUS]

Павел, Вам информация для статистики.
На +- похожем конфиге, но на голом qemu-kvm пару лет назад было что то подобное по симптомам. с десяток ВМ повели неадекватно, некоторые упали наглухо. Триггером начала цепочки событий видимо был сбой по питанию, была серия скачков. В электронный рай отправился один из сетевых контроллеров, позже забраковали (после мемтеста) 1 или 2 планки памяти, не вспомню точно. Сервер крови попил с неделю, пока память не проверили.

[SunTechnik]

Для анализа что случилось с vm —бывает проще подцепить этот образ к другой виртуалки в качестве второго диска.

Не было ли переполнение хранилище виртуальных машин, это могло повредить образы VM.
Сейчас ситуация выглядит странно, так как на многие теории есть аргументы против...

[Павел]

Zerg89, я вспомнил что на одной VM на 1с есть забикс агент, вот графики за этот "счастливый день"
https://fex.net/ru/s/v6fc9kv

Answer 1

[Павел]

4 дня понадоилось что бы понять в чем было дело... а именно:
формат образов VM qcow2 , во время бекапа был выбран режим "Снимок" то бишь snapshot, файловая система не ZFS , во время создания бекапа поверх образа диска, делается еще один qcow2 образ куда записуются данные во время того пока делается бекап, после завершения бекапа/снапшота образы сливаются в один (вот тут у меня проблема и произошла) , бекап сервер словил оишбку или просто отключился, потянув за собой и основной, а так как на физическом RAID массиве нет инструментов для отлова таких ошибок, он принял данные за тупые единицы и нули и все успешно записал окончательно уничтожив файлы .

Время изминения на файлах было проставлено потому что был настроен shadow copy в windows server, если бы его не было в момент бекапа то файлы я думаю остались бы целы, но уже и не проверить никак.

Поэтому буду переходить на ZFS + raw формат диска , возможно даже уйду от физического RAID в сторону ZFS pool
диски стоят не HDD , а nvme. в производительности я не сильно потеряю , зато спать буду спокойно

спасибо всем за подсказки и попытки помочь, от души

Answer 2

[Rsa97]

Останавливайте сервер и тестируйте оперативку. Memtest86+ минимум два цикла, больше - лучше.

Comments

[Павел]

вполне дельный совет, только 700ГБ озу будет проверять не один день(
обязательно выделю на это время, спасибо

Answer 3

[Пума Тайланд]

Так логи на хостовой машине посмотрите, ну и там на несколько машин раскидайте виртуалки, не храните в одной корзине все