Обновил заббикс с версии 6.4.х (как помню) до 7.0.8.
Агенты стоят везде второй версии. Их так же обновил до 7.0.8.
Теперь данные получаются со всех ВМ (порядка 10) с перерывами. Даже графики строятся с разрывами.
В логах сервера часто "network error":

В логах агентов все чисто.
Конечно же с сетью проблем нет. Все стабильно. Нагрузки на сеть нет. ВМ связаны на хосте через мост. Обычный kvm на debian. До обновы все было просто идеально.
Вот пример того графика в заббиксе. Видно что данные неравномерно получаются:

Также часто агенты по мнению заббикса отваливаются и снова подключаются.