Настройте постоянный мониторинг нагрузки на сервак. Возможно, какие-то короткие периодические нагрузки. Или реально -- диск тупит/сыплется при обращении к определённым областям.
К тому же, тот факт, что пинг идёт быстро -- не означает отсутствия проблем в канале. Пинг и SSH слегка на разных протоколах стека работают. Как-то расследовали неописуемый случай, когда адово тупил SSH. При этом всё остальное было в норме. Расследование показало, что если подключиться к серваку по L2TP и зайти на SSH через туннель, то никаких тормозов не было. L2TP работает по UDP. Мораль была такова -- у провайдера были проблемы на канале при обработке TCP-трафика, при этом UDP и ICMP никаких проблем не испытывали.