Если коммутатор управляемый, посмотрите утилизацию портов, на каком порту куча траффика.
Если свитч тупой, то фиг знает, посмотреть чисто визуально какой порт мигает без передышки.
Также во время тормозов можно пойти к коммутаторам и начать отключать сеть посегментно. Если компов больше 60-ти и еще и SIP телефоны, то у вас там явно несколько коммутаторов, вот их по одному начинайте отрубать и выявите проблемный сегмент.
Ну и если проблема и узкое место именно на стороне сервера, то поставьте там Wireshark и посмотрите, с какого Source IP валится траффик.