Нарисуйте схему сети, для начала, с красивыми значками и адресами роутеров, свичей, хостов.
Для поиска места потерь используйте mtr или pingplotter.
Если потери в локальном сегменте - смотрите загрузку, может у вас там что-то траффика в потолок генерит. Смотрите статистику на интерфейсах, ошибки, дропы.
Если ничего такого - начинайте менять настройки, патчкорды, сетевые карты, коммутаторы, роутеры.