Перестал работать web-интерфейс у Proxmox, как исправить?

Question

[anton13ms]

Вначале на одной ноде, затем начал отваливаться web- интерфейс, затем на второй, после чего я попробовал перезапустить pveproxy, на единственной ноде с рабочим web- интерфейсом и на этой ноде служба тоже перестала перезапускать.

Сейчас висят процессы типо:
32112 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
И не удается их прибить.

Так выглядит перечень процессов на одной из нод

PID TTY STAT TIME COMMAND
1 ? Ss 358:10 /lib/systemd/systemd --system --deserialize 19

340 ? Ss 68:44 /lib/systemd/systemd-journald
343 ? I< 0:39 [kworker/1:1H]
356 ? I< 0:00 [iscsi_eh]
364 ? I< 0:00 [rpciod]
365 ? I< 0:00 [xprtiod]
368 ? I< 0:00 [ib-comp-wq]
369 ? I< 0:00 [ib_mcast]
370 ? I< 0:00 [ib_nl_sa_wq]
374 ? I< 0:00 [rdma_cm]
382 ? S< 0:00 [spl_system_task]
383 ? S< 0:00 [spl_delay_taskq]
384 ? S< 0:00 [spl_dynamic_tas]
385 ? S< 0:00 [spl_kmem_cache]
411 ? I< 0:43 [kworker/2:1H]
443 ? I< 0:00 [ttm_swap]
448 ? SN 0:00 [kipmi0]
449 ? S< 0:00 [zvol]
450 ? S 0:00 [arc_prune]
451 ? S 45:09 [arc_reclaim]
452 ? S 0:00 [dbu_evict]
453 ? SN 29:45 [dbuf_evict]
583 ? SN 0:00 [z_vdev_file]
584 ? S 51:32 [l2arc_feed]
616 ? I< 0:00 [dm_bufio_cache]
621 ? I< 0:00 [kdmflush]
623 ? I< 0:00 [bioset]
625 ? I< 0:00 [kdmflush]
626 ? I< 0:00 [bioset]
639 ? I< 0:00 [kdmflush]
640 ? I< 0:00 [bioset]
643 ? I< 0:00 [kcopyd]
644 ? I< 0:00 [bioset]
645 ? I< 0:00 [dm-thin]
647 ? I< 0:00 [bioset]
648 ? I< 0:00 [kdmflush]
649 ? I< 0:00 [bioset]
653 ? SLsl 675:12 /sbin/dmeventd -f
866 ? Ss 3:11 /sbin/rpcbind -f -w
963 ? Ssl 0:00 /usr/bin/lxcfs /var/lib/lxcfs/
969 ? Ss 39:03 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-activation
997 ? S 55:41 /bin/bash /usr/sbin/ksmtuned
1019 ? Ss 65:59 /usr/sbin/watchdog-mux
1020 ? Ss 22:47 /lib/systemd/systemd-logind
1029 ? Ss 2:34 /usr/sbin/smartd -n
1031 ? Ssl 13:21 /usr/sbin/rsyslogd -n
1346 ? I< 1:43 [kworker/4:1H]
1411 ? Ss 0:00 /usr/lib/x86_64-linux-gnu/lxc/lxc-monitord --daemon
1491 ? Ss 53:01 /sbin/iscsid
1492 ? S 1651 tty1 Ss+ 0:00 /sbin/agetty --noclear tty1 linux
1707 ? Ssl 105:46 /usr/sbin/ntpd -p /var/run/ntpd.pid -g -u 109:115
1724 ? Ssl 709:33 /usr/bin/rrdcached -B -b /var/lib/rrdcached/db/ -j /var/lib/rrdcached/journal/ -p /var/run/rrdcached.pid -l unix:/var/run/rrdcached.sock
1763 ? I< 0:41 [kworker/0:1H]
1790 ? Ss 8:54 /usr/lib/postfix/sbin/master -w
1799 ? S 3:01 qmgr -l -t unix -u
1814 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
1819 ? Ssl 2828:12 /usr/bin/pmxcfs
1832 ? RLsl 32287:23 /usr/sbin/corosync -f
1837 ? Ss 5:41 /usr/sbin/cron -f
1895 ? Ss 9021:18 pvestatd
1899 ? Ss 3327:18 pve-firewall
1929 ? Ss 34:49 pvedaemon
1950 ? I< 1:18 [kworker/5:1H]
1958 ? Ss 249:47 pve-ha-crm
2000 ? Ss 501:36 pve-ha-lrm
2005 ? Ss 34:02 spiceproxy
2206 ? I< 1:16 [kworker/7:1H]
2255 ? I< 1:10 [kworker/6:1H]
2723 ? I 0:00 [kworker/4:1]
2764 ? I 0:03 [kworker/2:1]
2829 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
3461 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
3484 ? I< 0:00 [kdmflush]
3489 ? I< 0:00 [bioset]
4335 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
8525 ? I 0:00 [kworker/5:0]
8584 ? I 0:00 [kworker/7:2]
8789 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
9925 ? Ss 0:00 sshd: drongo [priv]
9936 ? Ss 0:00 /lib/systemd/systemd --user
9937 ? S 0:00 (sd-pam)
9952 ? S 0:00 sshd: drongo@pts/1
9954 pts/1 Ss 0:00 -sh
9957 ? I 0:00 [kworker/3:1]
9959 pts/1 S 0:00 su -
9965 pts/1 S+ 0:00 -su
10912 ? I 0:00 [kworker/u17:2]
11198 ? I 0:00 [kworker/u16:1]
11292 ? I 0:00 [kworker/u17:0]
11559 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
11713 ? Sl 194145:19 /usr/bin/kvm -id 101 -name micsrv101 -chardev socket,id=qmp,path=/var/run/qemu-server/101.qmp,server,nowait -mon chardev=qmp,mode=control -pidfile /var/run/qemu-server/101.pid -daemonize -smbios type=1,u
11850 ? S 2034:32 [vhost-11713]
11855 ? S 284:13 [kvm-pit/11713]
12195 ? I 0:00 [kworker/u18:2]
13969 ? D 0:00 /usr/bin/perl -T /usr/bin/pveproxy status
14159 ? I 0:00 [kworker/u16:0]
14187 ? S 0:00 pickup -l -t unix -u -c
14202 ? I 0:00 [kworker/u18:1]
14426 ? I 0:00 [kworker/u17:1]
14495 ? I 0:00 [kworker/u16:2]
14512 ? I 0:00 [kworker/6:1]
14563 ? I 0:00 [kworker/0:0]
14602 ? I 0:00 [kworker/u18:0]
14667 ? I 0:00 [kworker/4:0]
14673 ? I 0:00 [kworker/5:1]
14688 ? Rs 0:00 sshd: root@pts/2
14695 ? Ss 0:00 sshd: root@notty
14705 pts/2 Ss 0:00 -bash
14731 ? Ss 0:00 /usr/lib/openssh/sftp-server
14734 ? I 0:00 [kworker/3:2]
14775 ? Ss 0:00 bash -c while [ -d /proc/$PPID ]; do sleep 1;head -v -n 8 /proc/meminfo; head -v -n 2 /proc/stat /proc/version /proc/uptime /proc/loadavg /proc/sys/fs/file-nr /proc/sys/kernel/hostname; tail -v -n 16 /proc/
14875 ? S 0:00 sleep 60
15077 ? S 0:00 sleep 1
15083 pts/2 R+ 0:00 ps ax
15202 ? R 1:03 [kworker/0:1]
15669 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pvesr run --mail 1
16040 ? Ss 334:16 /lib/systemd/systemd-udevd
17290 ? D 8:31 pvedaemon worker
17895 ? Ss 0:00 /usr/sbin/sshd -D
19645 ? D 16:53 pvedaemon worker
21765 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy restart
21872 ? Ssl 0:01 /usr/sbin/pvefw-logger
21928 ? S 0:00 spiceproxy worker
22807 ? I 0:00 [kworker/7:1]
22814 ? I 0:00 [kworker/5:2]
22843 ? I 0:00 [kworker/1:1]
22887 ? I 0:00 [kworker/6:2]
23929 ? I< 0:00 [kdmflush]
23934 ? I< 0:00 [bioset]
24793 ? I 0:00 [kworker/4:2]
24825 ? Ss 0:00 /lib/systemd/systemd --user
24826 ? S 0:00 (sd-pam)
26099 ? D 16:35 pvedaemon worker
27921 ? I< 0:00 [kdmflush]
27925 ? I< 0:00 [bioset]
30901 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy stop
31649 ? I 0:00 [kworker/3:0]
31658 ? I 0:00 [kworker/2:0]
31659 ? I 0:00 [kworker/1:2]
31691 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
32112 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
32389 ? Ds 0:00 /usr/bin/perl /usr/bin/pveupdate

Comments

[AUser0]

А прибивали вы их через kill? А -SIGKILL пытались указывать?

P.S. Удобнее ps axf.

[anton13ms]

Да и kill -SIGKILL 24925
и
kill -9 24925

ps axf

PID TTY STAT TIME COMMAND
2 ? S 0:41 [kthreadd]
4 ? I< 0:00 \_ [kworker/0:0H]
7 ? I< 0:00 \_ [mm_percpu_wq]
8 ? S 2:07 \_ [ksoftirqd/0]
9 ? I 304:56 \_ [rcu_sched]
10 ? I 0:00 \_ [rcu_bh]
11 ? S 0:18 \_ [migration/0]
12 ? S 1:09 \_ [watchdog/0]

1 ? Ss 66:26 /sbin/init
390 ? Ss 21:07 /lib/systemd/systemd-journald
427 ? Ss 105:36 /lib/systemd/systemd-udevd
651 ? SLsl 215:03 /sbin/dmeventd -f
736 ? Ss 0:58 /sbin/rpcbind -f -w
797 ? Ssl 0:02 /usr/bin/lxcfs /var/lib/lxcfs/
798 ? Ss 11:45 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-activation
802 ? Ssl 4:20 /usr/sbin/rsyslogd -n
806 ? Ss 7:35 /lib/systemd/systemd-logind
808 ? Ss 18:01 /usr/sbin/watchdog-mux
814 ? S 16:28 /bin/bash /usr/sbin/ksmtuned
24091 ? S 0:00 \_ sleep 60
1137 ? Ss 0:00 /usr/lib/x86_64-linux-gnu/lxc/lxc-monitord --daemon
1193 ? Ss 10:12 /sbin/iscsid
1195 ? S 1304 ? Ss 0:00 /usr/sbin/sshd -D
10412 ? Ss 0:01 \_ sshd: root@pts/1
10434 pts/1 Ss 0:00 | \_ -bash
24383 pts/1 R+ 0:00 | | \_ ps axf
11249 ? Ss 0:02 | \_ bash -c while [ -d /proc/$PPID ]; do sleep 1;head -v -n 8 /proc/meminfo; head -v -n 2 /proc/stat /proc/version /proc/uptime /proc/loadavg /proc/sys/fs/file-nr /proc/sys/kernel/hostname; tail -v -n 1
24381 ? S 0:00 | \_ sleep 1
10427 ? Ss 0:00 \_ sshd: root@notty
10458 ? Ss 0:00 \_ /usr/lib/openssh/sftp-server
1392 tty1 Ss 0:00 /bin/login --
11487 tty1 S+ 0:00 \_ -sh
1435 ? Ssl 218:57 /usr/bin/rrdcached -B -b /var/lib/rrdcached/db/ -j /var/lib/rrdcached/journal/ -p /var/run/rrdcached.pid -l unix:/var/run/rrdcached.sock
1459 ? Ssl 37:48 /usr/sbin/ntpd -p /var/run/ntpd.pid -g -u 109:115
1484 ? Ssl 1076:47 /usr/bin/pmxcfs
1547 ? Ss 3:23 /usr/lib/postfix/sbin/master -w
1551 ? S 0:34 \_ qmgr -l -t unix -u
12145 ? S 0:00 \_ pickup -l -t unix -u -c
1569 ? SLsl 8417:37 /usr/sbin/corosync -f
1588 ? Ss 2:12 /usr/sbin/cron -f
1629 ? Ss 3310:07 pvestatd
24382 ? D 0:00 \_ /sbin/vgs --separator : --noheadings --units b --unbuffered --nosuffix --options vg_name,vg_size,vg_free
1636 ? Ss 961:40 pve-firewall
1659 ? Ss 11:34 pvedaemon
18796 ? S 9:23 \_ pvedaemon worker
19081 ? D 5:18 \_ pvedaemon worker
14507 ? S 0:00 \_ pvedaemon worker
1691 ? Ss 93:29 pve-ha-crm
1748 ? Ss 185:55 pve-ha-lrm
1755 ? Ss 11:06 spiceproxy
7664 ? S 0:00 \_ spiceproxy worker
1886 ? Sl 70926:30 /usr/bin/kvm -id 107 -name t3-1 -chardev socket,id=qmp,path=/var/run/qemu-server/107.qmp,server,nowait -mon chardev=qmp,mode=control -pidfile /var/run/qemu-server/107.pid -daemonize -smbios type=1,uuid=a6
2032 ? Sl 35116:06 /usr/bin/kvm -id 110 -name repdb-3-1 -chardev socket,id=qmp,path=/var/run/qemu-server/110.qmp,server,nowait -mon chardev=qmp,mode=control -pidfile /var/run/qemu-server/110.pid -daemonize -smbios type=1,uu
11466 ? Ss 0:00 /lib/systemd/systemd --user
11472 ? S 0:00 \_ (sd-pam)
17291 ? Sl 100752:59 /usr/bin/kvm -id 105 -name t3-2 -chardev socket,id=qmp,path=/var/run/qemu-server/105.qmp,server,nowait -mon chardev=qmp,mode=control -pidfile /var/run/qemu-server/105.pid -daemonize -smbios type=1,uuid=f
23384 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pvesr run --mail 1
29747 ? Ds 0:00 /usr/bin/perl /usr/bin/pveupdate
9923 ? Ss 0:00 /lib/systemd/systemd --user
9925 ? S 0:00 \_ (sd-pam)
14836 ? D 0:04 pveproxy worker
16116 ? D 0:03 pveproxy worker
7504 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy restart
7610 ? Ssl 0:00 /usr/sbin/pvefw-logger
13388 ? D 0:04 pveproxy worker
16624 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy stop
19373 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
20244 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
20802 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
22378 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
24925 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
2643 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
8197 ? Ds 0:00 /usr/bin/perl -T /usr/bin/pveproxy start
9388 ? D 0:00 /usr/bin/perl -T /usr/bin/pveproxy status

[Дмитрий]

Попробуйте pkill pveproxy и снова start. В лог пишет что-нибудь?

[AUser0]

Дмитрий, тогда уж killall pveproxy, что конечно не остановит все Perl-процессы, пытающиеся запустить /usr/bin/perl -T /usr/bin/pveproxy start. Ну а изначально надо было systemctl restart pveproxy.service.

[anton13ms]

Дмитрий,
так вы имеете ввиду?
root@booratino :~# pkill pveproxy
root@booratino :~# systemctl start pveproxy.service
Job for pveproxy.service failed because a timeout was exceeded.
See "systemctl status pveproxy.service" and "journalctl -xe" for details.

journalctl -xe

root@booratino:~# journalctl -xe
Jan 23 13:22:35 booratino systemd[1]: Starting PVE API Proxy Server...
-- Subject: Unit pveproxy.service has begun start-up
-- Defined-By: systemd
-- Support: https://www.debian.org/support
--
-- Unit pveproxy.service has begun starting up.
Jan 23 13:24:06 booratino systemd[1]: pveproxy.service: Start operation timed out. Terminating.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: State 'stop-final-sigterm' timed out. Killing.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: Killing process 32739 (pveproxy) with signal SIGKILL.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: Killing process 2643 (pveproxy) with signal SIGKILL.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: Killing process 8197 (pveproxy) with signal SIGKILL.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: Killing process 13388 (pveproxy worker) with signal SIGKILL.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: Killing process 14836 (pveproxy worker) with signal SIGKILL.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: Killing process 16116 (pveproxy worker) with signal SIGKILL.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: Killing process 19373 (pveproxy) with signal SIGKILL.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: Killing process 20244 (pveproxy) with signal SIGKILL.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: Killing process 20802 (pveproxy) with signal SIGKILL.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: Killing process 22378 (pveproxy) with signal SIGKILL.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: Killing process 24925 (pveproxy) with signal SIGKILL.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: Killing process 7504 (pveproxy) with signal SIGKILL.
Jan 23 13:25:36 booratino systemd[1]: pveproxy.service: Killing process 16624 (pveproxy) with signal SIGKILL.
Jan 23 13:27:06 booratino systemd[1]: pveproxy.service: Processes still around after final SIGKILL. Entering failed mode.
Jan 23 13:27:06 booratino systemd[1]: Failed to start PVE API Proxy Server.
-- Subject: Unit pveproxy.service has failed
-- Defined-By: systemd
-- Support: https://www.debian.org/support
--
-- Unit pveproxy.service has failed.
--
-- The result is failed.
Jan 23 13:27:06 booratino systemd[1]: pveproxy.service: Unit entered failed state.
Jan 23 13:27:06 booratino systemd[1]: pveproxy.service: Failed with result 'timeout'.
Jan 23 13:27:49 booratino corosync[1569]: notice [TOTEM ] A processor failed, forming new configuration.
Jan 23 13:27:49 booratino corosync[1569]: [TOTEM ] A processor failed, forming new configuration.
Jan 23 13:27:51 booratino corosync[1569]: notice [TOTEM ] A new membership (192.168.75.6:2820) was formed. Members left: 2
Jan 23 13:27:51 booratino corosync[1569]: notice [TOTEM ] Failed to receive the leave message. failed: 2
Jan 23 13:27:51 booratino corosync[1569]: [TOTEM ] A new membership (192.168.75.6:2820) was formed. Members left: 2
Jan 23 13:27:51 booratino corosync[1569]: [TOTEM ] Failed to receive the leave message. failed: 2
Jan 23 13:27:51 booratino corosync[1569]: notice [TOTEM ] A new membership (192.168.75.6:2824) was formed. Members joined: 2
Jan 23 13:27:51 booratino corosync[1569]: [TOTEM ] A new membership (192.168.75.6:2824) was formed. Members joined: 2
Jan 23 13:27:51 booratino corosync[1569]: warning [CPG ] downlist left_list: 1 received
Jan 23 13:27:51 booratino corosync[1569]: [CPG ] downlist left_list: 1 received
Jan 23 13:27:51 booratino corosync[1569]: warning [CPG ] downlist left_list: 1 received
Jan 23 13:27:51 booratino corosync[1569]: [CPG ] downlist left_list: 1 received
Jan 23 13:27:51 booratino corosync[1569]: [CPG ] downlist left_list: 0 received
Jan 23 13:27:51 booratino corosync[1569]: warning [CPG ] downlist left_list: 0 received
Jan 23 13:27:51 booratino pmxcfs[1484]: [status] notice: members: 1/1819, 3/1484
Jan 23 13:27:51 booratino pmxcfs[1484]: [status] notice: starting data syncronisation
Jan 23 13:27:51 booratino pmxcfs[1484]: [status] notice: members: 1/1819, 2/1709, 3/1484
Jan 23 13:27:51 booratino corosync[1569]: notice [QUORUM] Members[3]: 1 2 3
Jan 23 13:27:51 booratino corosync[1569]: notice [MAIN ] Completed service synchronization, ready to provide service.
Jan 23 13:27:51 booratino corosync[1569]: [QUORUM] Members[3]: 1 2 3
Jan 23 13:27:51 booratino corosync[1569]: [MAIN ] Completed service synchronization, ready to provide service.
Jan 23 13:27:51 booratino pmxcfs[1484]: [status] notice: received sync request (epoch 1/1819/000001C1)
Jan 23 13:27:51 booratino pmxcfs[1484]: [status] notice: received sync request (epoch 1/1819/000001C2)
Jan 23 13:27:51 booratino pmxcfs[1484]: [status] notice: received all states
Jan 23 13:27:51 booratino pmxcfs[1484]: [status] notice: all data is up to date
Jan 23 13:27:51 booratino pmxcfs[1484]: [status] notice: dfsm_deliver_queue: queue length 2

Или какой лог вы имели ввиду?

AUser0,
я изначально и пробовал systemctl restart pveproxy,

[AUser0]

anton13ms, мда, systemctl честно пытался прибить perl-овский скрипт, и не смог. Что-то у вас нехорошее происходит, если невозможно убить процессы...

[anton13ms]

AUser0, Мне не понятно, почему такая ситуация сразу на всех трех нодах, как они могут мешать друг другу запускать процессы?

[AUser0]

anton13ms, это не "одна нода мешает другой ноде", такой связи нет. Тут проблема в неубиваемости (или в кажущейся неубиваемости процесса perl, убивающего повисшие pveproxy). Кажущаяся вполне может быть из-за systemd, который запускает новый процесс perl для остановки и нового запуска pveproxy.service. Проверяется убийством какого-нибудь процесса perl -T /usr/bin/pveproxy stop с его PID, и отслеживанием, не появился ли новый perl с новым PID...

Собственно а вы сами процессы pveproxy worker убить пытались? Разумеется через -SIGKILL. И стереть после этого /var/run/pveproxy/pveproxy*, что бы не мешали запускаться новому процессу.

[anton13ms]

AUser0,

Собственно а вы сами процессы pveproxy worker убить пытались? Разумеется через -SIGKILL.

Пробовал они так же не убиваются.

Проверяется убийством какого-нибудь процесса perl -T /usr/bin/pveproxy stop с его PID, и отслеживанием, не появился ли новый perl с новым PID...

Пробовал:

root@booratino:~# perl -T /usr/bin/pveproxy stop 22378

Просто весит пол часа и не чего не происходит.

[AUser0]

anton13ms, perl -T /usr/bin/pveproxy stop 22378 - так не сработает, вот совсем.
В ps axf ищите PID-ы процессов pveproxy, и вот их kill -SIGKILL PID#1 PID#2 PID#3 PID#4 22378 ...

[anton13ms]

AUser0,
Какие предлагаете рубануть?

[AUser0]

anton13ms, да вот буквально ВСЕ, находящиеся на этом скриншоте. После этого удалить .pid файл, и перезапустить сервис (если ещё не перезапустился).

[anton13ms]

AUser0, Не, не рубятся они( Прописываю, но просто ни чего ен происходит, даже ошибки не выдает(

[AUser0]

anton13ms, тщательно проверьте, после убийства одного процесса не появляется новый, с такой-же командой?
systemd может видеть ненормальное умирание команды, и запускать её ещё раз.
Что бы systemd не респавнил эти процессы: systemctl disable pveproxy.service

И не забыть потом включить обратно: systemctl enable pveproxy.service

[anton13ms]

AUser0, Возможно не совсем понял вас.
Сделал так.
1. Отключил службу:
systemctl disable pveproxy.service
* хотя вроде она и так не работала
2. Грохнул все процессы:

kill -SIGKILL 21765 30901 31691 32112 1814 2829 3461 4335 8789 11559 13969 27852

которые нашел по команде:
ps axf | grep pveproxy
Но не один процесс не завершился, они остались с такими же пидами.

[AUser0]

anton13ms, блин, у меня кончились идеи. Совсем. Если процесс невозможно убить - то это ну вааще!

[anton13ms]

AUser0, Похоже завтра будут пробовать ребутить(

[AUser0]

anton13ms, убиваете под ROOT-ом? Ну, на всякий случай проверить.
Ну и тут инфо: https://unix.stackexchange.com/questions/5642/what...

[anton13ms]

AUser0, Да из под рута и из под рута они и запущены.
Возможно не совсем понял, что здесь обсуждает:
https://unix.stackexchange.com/questions/5642/what...

Могу сказать, что у данного кластера, нет полки. Все ВМ запущены с использованием локальной памяти.
Единственное, что Proxmox версии 5 и поднимали их давно, без моего участия, возможно что то бывший Админ наворотил.
Аптаймы разные, от года до 4-х лет.

[anton13ms]

AUser0,
И продиагностировать его судя по всему не удастся:

# strace -p 27852
strace: Process 27852 attached

После этого сервер просто бесконечно думает...

[anton13ms]

Сейчас появилась информация от местных специалистов, о том, что скорее всего на одной из нод вышел из строя диск. Не знаю, может ли это способствовать зависанию процессов на всех нодах кластера, но будет в ближайшее время, разбираться в первую очередь с диском...

[AUser0]

anton13ms, в системных логах самой ноды про мёртвый диск - всяко-разно сообщения должны быть.
И как-то не верится в работоспособность системы с мёртвым диском, тут или пан или пропал.

А как мёрвый диск может мешать убийству процессов (они в оперативной памяти работают, не на диске)?

По поводу ничего не делающего strace - пошлите SIGKILL этому процессу, на экране должно отобразиться. И проблема именно в этом, процессы чего-то ждут..., ждут..., ждут..., ничего на экране и не происходит.

[anton13ms]

AUser0,
В итоге, оказалось диск сдох.
После перезагрузки ноды со сдохшим диском, на ней web интерфейс восстановился.
И еще на одной из трех нод, процессы "отпустило".
То есть в итоге, на двух из трех нод, pveproxy заработали.
Благо, что на последней неисправной ноде, ВМ дублированная, можно на этом сыграть и ноду перезагрузить.
Вообщем в итоге, все это дело, буду переносить в новый кластер...

По поводу ничего не делающего strace - пошлите SIGKILL этому процессу, на экране должно отобразиться. И проблема именно в этом, процессы чего-то ждут..., ждут..., ждут..., ничего на экране и не происходит.

Не совсем вас понял. Я уже пробовал останавливать процессы через SIGKILL , я об этом здесь писал.

[AUser0]

anton13ms, вы пробовали без подключенного к процессу дебаггера strace.
Хотя да, всё, что вы там увидил бы - было бы "О, SIGKILL пролетел... Пренебречь, вальсируем! Пофиг, висим!"

[anton13ms]

AUser0, И strace смотрел и без страка пробовал кильнуть, просто ни чего не происходит, ошибок не выдает...

Answer 1

[anton13ms]

В итоге единственный способ это починить, была перезагрузка сервера.