Ничего удивительного - увеличивается количество передаваемого трафика, канал занимается больше на полезную нагрузку, а трафик пинга, как менее приоритетный, вытесняется. Отсюда растут задержки в пинге. Но это не значит, что скорость падает или что-нибудь подобное.
Вот когда плохие пинги, в то время когда вы ничего не делаете - это повод задуматься.