Дано: Dell R720
Проблема: Установил с образа XenServer 6.5, поставил некоторые утилиты, перезапускал сервер все работало, установил все обновления SP1 все сломалось.
Читал дискусии на
discussions.citrix.com но везде пишут что xapi не стартует из-за старых логов или из-за нехватки места, пробовал ничего не помогло. Проверил, места свободного много, логи чистил и удалял.
Смотрел логи ксена, но ничего сверх подозрительного не нашел, там в них очень много информации, на что обратить внимание?
tail -f /var/log/messages
tail -f /var/log/xensource.log
Пробовал перезапускать
xe-toolstack-restart
XCP RRDD daemon не стартует.
В итоге, логично, все запросы xe vm-list не работают.
На что обратить внимание:? Спасибо.
UPD:
Подозрительную информацию из логов опубликовал ниже.
dmesg
..все оборудование стартует без серьездных ошибок, ну всякие мелочи что не найдены мышь/клавиатура я опускаю.
отследить причину segfault не удалось
[ 102.267427] warning: `ntpdate' uses 32-bit capabilities (legacy support in use)
[ 104.942270] squeezed[7056]: segfault at 0 ip (null) sp 00007f0dd3a9abe8 error 14 in squeezed[400000+13e000]
[ 107.214621] xapi[7665]: segfault at 0 ip (null) sp 00007fff08f816c8 error 14 in xapi[400000+8ed000]
[ 108.321911] xapi[8372]: segfault at 0 ip (null) sp 00007fffb28152f8 error 14 in xapi[400000+8ed000]
[ 137.080868] kjournald starting. Commit interval 5 seconds
[ 137.080917] EXT3-fs (sdc1): warning: checktime reached, running e2fsck is recommended
[ 137.084231] EXT3-fs (sdc1): using internal journal
[ 137.084237] EXT3-fs (sdc1): mounted filesystem with ordered data mode
[ 566.876612] squeezed[26151]: segfault at 0 ip (null) sp 00007f6ef6a72be8 error 14 in squeezed[400000+13e000]
[ 569.092013] xapi[26209]: segfault at 0 ip (null) sp 00007fff6b2b35f8 error 14 in xapi[400000+8ed000]
[ 570.875968] xapi[26257]: segfault at 0 ip (null) sp 00007fffb6d2add8 error 14 in xapi[400000+8ed000]
\\ sdc1 - usb drive
вырезка из /var/log/messagesxapi: [ info|***|0 thread_zero||watchdog] (Re)starting xapi...
xapi: [ info|***|0 thread_zero|Loading DHCP leases D:4cc31c067426|xapi_udhcpd] Caught exception Unix.Unix_error(20, "open", "/var/xapi/dhcp-leases.db") loading /var/xapi/dhcp-leases.db: creating new empty leases database
mpathroot: This system is not running a multipath root, so no status update required
xenstored: A9 watch /vss 140012209594416
xenstored: A9 w event /vss 140012209594416
xapi: [ info|***|0 thread_zero|Registering SMAPIv1 plugins D:7562814530bf|sm] Registered SMAPIv1 plugins: lvm, iscsi, ext, file, dummy, hba, nfs, lvmoiscsi, lvmohba, iso, udev
xapi: [ info|***|0 thread_zero|Initialising SM state D:1515c75a0616|storage_impl] Loading storage state from: /var/run/nonpersistent/xapi/storage.db
xapi: [ info|***|0 thread_zero|Listening unix socket D:a45c6ceda7d9|xapi] Successfully bound socket to: UNIX /var/xapi/xapi
kernel: [ 107.214621] xapi[7665]: segfault at 0 ip (null) sp 00007fff08f816c8 error 14 in xapi[400000+8ed000]
fe: 7665 (/opt/xensource/bin/xapi -nowatchdog -writereadyfile /var/run/xapi_startup.coo...) exited with signal: SIGSEGV
xapi: [ info|***|0 thread_zero||watchdog] received signal: SIGSEGV
xapi: [ info|***|0 thread_zero||watchdog] xapi died with signal -10: restarting
вырезка из /var/log/xcp-rrdd-plugins.logxcp-rrdd-gpumon: [ warn|***|0||xcp-rrdd-gpumon] NVML interface not loaded: libnvidia-ml.so.1: cannot open shared object file: No such file or directory
xcp-rrdd-gpumon: [ info|***|0||xcp-rrdd-gpumon] Sleeping for 5 minutes
xcp-rrdd-iostat: [ warn|***|0||xcp-rrdd-iostat] The xcp-rrdd daemon seems installed. but not started. Try 'service xcp-rrdd start' Connection to the server is not available, sleeping for 10 seconds...
xcp-rrdd-squeezed: [ warn|***|0||xcp-rrdd-squeezed] The xcp-rrdd daemon seems installed. but not started. Try 'service xcp-rrdd start' Connection to the server is not available, sleeping for 10 seconds...
...
xcp-rrdd-iostat: [ info|***|0||xcp-rrdd-iostat] Received signal -11: deregistering plugin xcp-rrdd-iostat...
xcp-rrdd-squeezed: [ info|***|0||xcp-rrdd-squeezed] Received signal -11: deregistering plugin xcp-rrdd-squeezed...
xcp-rrdd-gpumon: [ info|***|0||xcp-rrdd-gpumon] Received signal -11: deregistering plugin xcp-rrdd-gpumon...
xcp-rrdd-gpumon: [ warn|***|0||xcp-rrdd-gpumon] NVML interface not loaded: libnvidia-ml.so.1: cannot open shared object file: No such file or directory
xcp-rrdd-gpumon: [ info|***|0||xcp-rrdd-gpumon] Sleeping for 5 minutes
xcp-rrdd-iostat: [ info|**|0||xcp-rrdd-iostat] Obtained hdr=DATASOURCES , path=/dev/shm/metrics/xcp-rrdd-iostat
xcp-rrdd-squeezed: [ info|***|1|xenstore|xenstore_watch] Couldn't read path /local/domain/0/memory/dynamic-max; forgetting last known value for domain 0
xcp-rrdd-squeezed: [ info|***|1|xenstore|xenstore_watch] Couldn't read path /local/domain/0/memory/dynamic-min; forgetting last known value for domain 0
xcp-rrdd-squeezed: [ info|***|0||xcp-rrdd-squeezed] Obtained hdr=DATASOURCES , path=/dev/shm/metrics/xcp-rrdd-squeezed
xcp-rrdd-squeezed: [ info|***|1|xenstore|xenstore_watch] Couldn't read path /local/domain/0/memory/target; forgetting last known value for domain 0
xcp-rrdd-xenpm: [ warn|***|0||xcp-rrdd-xenpm] Found 24 pCPUs
xcp-rrdd-xenpm: [ info|***|0||xcp-rrdd-xenpm] Obtained hdr=DATASOURCES , path=/dev/shm/metrics/xcp-rrdd-xenpm
xcp-rrdd-squeezed: [ warn|***|0||xenstore_watch] Couldn't find cached target value for domain 0, using 0
xcp-rrdd-squeezed: [ warn|***|0||xenstore_watch] Couldn't find cached dynamic-min value for domain 0, using 0
xcp-rrdd-squeezed: [ warn|***|0||xenstore_watch] Couldn't find cached dynamic-max value for domain 0, using 0
xcp-rrdd-iostat: [ info|***|0||xcp-rrdd-iostat] No data sources exported
UPD2:
Теперь же после xe-toolstack-restart
ругается на
Stopping the memory ballooning daemon: [FAILED]
память проверял штатными стредствами диагностики в Dell Lifecycle
UPD3:
Проблема всё еще не решена, занялся другими тасками, приглашаю для дискусии.
UPD4:
Сервер был переустановлен, благо на него еще не успели много перенести.
Возможно причиной такого поведения была банальная неудача, баг, или мои действия - так и не понял.
Всем спасибо за помощь.
Средний
Средний
Средний
Средний
Средний
