В общем удалил сетевую с бриджа, снес полностью, создал новую, добавил в этот же бридж, несколько дней работало как часы, сейчас опять отвалилась на 3 минуты. При этом как и раньше, оба других интерфейса на этом же бридже работали без сбоев, без потерь пакетов. Проверил мониторинг, без аномалий, все графики I/O ровные, что на ЦПУ, что на RAM, что на сети и дисках, единственное 100% потеря пакетов на этом интерфейсе сети в момент падения.
Я уже не знаю куда копать, собираюсь переехать на другой сервер.