Почему может отваливаться zabbix agent при бэкапе?

Question

[alimp]

С периодичностью каждый день в 2 часа ночи когда идёт резервное копирование забикс сервер теряет агентов этой машины и виртуалок на ней
С ошибкой в логе агента

zbx_execute_threaded_metric(): TerminateThread() for vfs.fs.size[E:,...] succeeded

Мониторинг машины vm через zabbix proxy
Рестартом агента лечится но не всегда иногда закачивается со словами канал закрыт, машины на windows server 2019
Подскажи куда копнуть чёт идеи заканчиваются.
По завершению бэкапа все работает как часы
Резервное копирование обычные файлы пихаю в архив и кидаю в щару по сети, канал при этом гигабитный между ними не напрягается с выше 500 мбит в пике

Comments

[Максим Гришин]

Все ли метрики отваливаются? agent.ping тоже валится?

Answer 1

[miloshevitch]

У нас тоже возникла подобная проблема на 1 сервере, ОС Windows. Сам сервер работал, но проблема в том, что агент Zabbix похоже не отвечал (завис), проблема началась неожиданно только на одном сервере 2024-11-14
После перезапуска службы некоторое время работает ok.

Последние события:
2000:20240513:124842.453 Starting Zabbix Agent [*****]. Zabbix 6.0.14 (revision 3f184b456c7).
2000:20240513:124842.474 **** Enabled features ****
2000:20240513:124842.474 IPv6 support: YES
2000:20240513:124842.475 TLS support: NO
2000:20240513:124842.475 **************************
2000:20240513:124842.475 using configuration file: C:\Zabbix\zabbix_agentd.win.conf
2000:20240513:125015.519 agent #0 started [main process]
5152:20240513:125015.555 agent #1 started [collector]
5168:20240513:125015.555 agent #5 started [active checks #1]
5164:20240513:125015.555 agent #4 started [listener #3]
5160:20240513:125015.555 agent #3 started [listener #2]
5156:20240513:125015.555 agent #2 started [listener #1]
5168:20240513:125016.556 Unable to connect to [127.0.0.1]:10051 [cannot connect to [[127.0.0.1]:10051]: Connection refused.]
5168:20240513:125016.556 Active check configuration update started to fail
5164:20240617:013832.610 failed to accept an incoming connection: from 192.168.167.199: reading first byte from connection failed: [0x0000274C] Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера.
5164:20240729:053031.609 failed to accept an incoming connection: from 192.168.167.199: reading first byte from connection failed: [0x0000274C] Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера.
5160:20240923:045553.954 failed to accept an incoming connection: from 192.168.167.199: reading first byte from connection failed: [0x0000274C] Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера.
5160:20241114:090210.794 Stuck data thread
5160:20241114:090214.255 zbx_execute_threaded_metric(): TerminateThread() for vfs.fs.size[C:,...] succeeded
5156:20241114:090232.433 Stuck data thread
5160:20241114:090232.632 Stuck data thread
5156:20241114:090232.635 zbx_execute_threaded_metric(): TerminateThread() for vfs.fs.size[C:,...] succeeded
...Далее куча подобных событий...

Причина походу была в точке на графике соотв. 09:00, память заполнилась на 100%


Было принято решение обновить агента до версии 6.4.19 и посмотреть как он будет работать.