Бэкап одной из VM не делается, падает Error code SR_BACKEND_FAILURE_82 — кто сталкивался?

Question

[oni__ino]

Host: XenServer 6.5
Updates: XS65E001,XS65E002,XS65E003,XS65E005,XS65E006,XS65E007,XS65E008
Local Storage EXT3 Usage: 15%

Перестали делаться бэкапы одной из машин.
Бэкапилось все скриптом, но не суть.
Пробую сделать бэкап в ручную

xe vm-snapshot vm=HOSTNAME new-name-label=HOSTNAME-snapshot-20150922.snapshot

и получаю ту же ошибку что и сторонний скрипт.

Error code: SR_BACKEND_FAILURE_82
Error parameters: , Failed to snapshot VDI [opterr=failed to pause VDI "676077dd-2353-426f-a81b-c829c03f194f"],

Рескан хранилища не нашел что сращивать или что-то с ошибками VDI

Sep 22 16:53:57 ** SMGC: [2211] No work, exiting
Sep 22 16:53:57 ** SMGC: [2211] In cleanup
Sep 22 16:53:57 ** SMGC: [2211] SR 0526 ('Local storage') (31 VDIs in 8 VHD trees): no changes

xe snapshot-list не показывает других снапшотов, кроме моего ручного совершенно другой машины.
Смотрю информация о диске но ничего подозрительного не вижу

xe vdi-param-list  uuid=676077dd-2353-426f-a81b-c829c03f194f
uuid ( RO): 676077dd-2353-426f-a81b-c829c03f194f
name-label ( RW): ******** 1
name-description ( RW): ******** 1
is-a-snapshot ( RO): false
snapshot-of ( RO): <not in database>
snapshots ( RO): 
snapshot-time ( RO): 19700101T00:00:00Z
allowed-operations (SRO): clone; snapshot
current-operations (SRO): 
sr-uuid ( RO): 05265fd6-0910-cbee-88fe-c4425464e645
sr-name-label ( RO): Local storage
vbd-uuids (SRO): 2cf5f1ea-6336-cba4-020e-d7a7ca2f0702
crashdump-uuids (SRO): 
virtual-size ( RO): 53687091200
physical-utilisation ( RO): 110080
location ( RO): 676077dd-2353-426f-a81b-c829c03f194f
type ( RO): User
sharable ( RO): false
read-only ( RO): false
storage-lock ( RO): false
managed ( RO): true
parent ( RO): <not in database>
missing ( RO): false
other-config (MRW): 
xenstore-data (MRO): 
sm-config (MRO): host_OpaqueRef:908a7883-d2bf-0b60-6cb4-f9efd0aa83c9: RW; vhd-parent: 6adc138c-e05b-40a5-a185-ace1795f484a
on-boot ( RW): persist
allow-caching ( RW): false
metadata-latest ( RO): false
metadata-of-pool ( RO): <not in database>
tags (SRW):

Сервер prod, машину тоже нельзя выключать, тоже прод, но бэкап не делается это меня очень волнует.
Остальные 4 машины на хосте, бэкапы делается, ошибок нет.

Есть мысли по этому поводу?

Comments

[Argenon]

Я уже писал про эту проблему, решение для ext3 не нашел, на LVM все работает правильно. У вас 31 VDIs in 8 VHD trees - именно это занимает место. Буду благодарен за решение проблемы с ext3. И я уже писал что при такой проблеме помогает перемещение дисков на другое хранилище.

[oni__ino]

свободного места там предостаточно, проблема в другом, не делаются снепшоты.
Лишние диски поудалял в Local Storage стало меньше SR 0526 ('Local storage') (26 VDIs in 7 VHD trees) но это не меняет дело.
наткнулся на другие проблемы с VDI где советуют "The solution is to shut down the VM, forget the VDI-s, rescan the SR and re-attach the VDI-s to the same VM in the same order." не уверен что может здесь все сработать.
даже не знаю что делать, машину нельзя стопать, да и делать такие эксперименты без бэкапов стремно на боевых машинах.

[Argenon]

Да я ошибся, действительно Вы правы свободное место здесь не причем "failed to pause VDI", просто обычно получал такую ошибку когда место заканчивалось. Бекапятся ли данные в этой машине еще каким-либо образом, если да, то эту виртуальную машину можно остановить и попробовать сделать снапшот из выключенного состояния? Машина не повреждена случайно?

[Argenon]

Можно попробовать рестарт xapi

[oni__ino]

Ксен совсем меня разочаровывает. Делал, как рестарт апи так и скан и апдейт хранилища. Жду времени следующих тех работ. Машина работает на продакшене, бэкапится еще отдельно база, файлы. Другие скрипты (даже который бэкапит пиноновским скриптом с xen sdk, вероятно тоже через апи) тоже не отрабатывали.

[Argenon]

Я бы выключил машину после бекапа базы данных и попробовал сделать снапшот. Я отказался от ext3, не понял как работает этот тип хранилища, у меня все на LVM.

Answer 1

[oni__ino]

При попытке сделать снепшот, нужный VDI оказывался занят (failed to pause VDI) Машина была перемещена на другой сервер. После того как продакшен уже работал, на старой машине я потушил ее. Считайте что если есть такая ошибка необходим перезапуск (выключение) виртуалки. Снепшоты сейчас создаются, но проект работает уже на другом железе.

Answer 2

[Alex Plast]

А что говорит XenCenter при попытке создания снепшота? Coalesce-Leaf делать пытались?

Comments

[oni__ino]

То же что в логах, SR_BACKEND_FAILURE_82. А при запуске команд xe sr-scan xe sr-update которые и запускают сoalesce-leaf показывают No work, exiting. Тут надо просто останавливать машину, или перезагружать - пока нет возможности просто проверить (поджидаю возможность отключения).