Во-первых, количество ответов icmp echo reply от маршрутизатора зависит не только от "загрузки" сети, но и от загрузки самого маршрутизатора и его настроек (rate-limiting, qos, etc). Поэтому никогда не следует торопиться с выводами при "пропадании" некоторой части "пингов".
Во-вторых, вполне вероятно, что оборудование провайдера шлёт вам какой-либо трафик (как пример, lldp), который пытается обрабатывать ваш маршрутизатор, утилизируя при этом драгоценные такты ЦП. Если есть возможность, можно уточнить детали загрузки процессора (какой процесс потребляет больше всего процессорного времени). Также можно воткнуть кабель провайдера в компьютер с запущенным wireshark и посмотреть, какой именно трафик идет к вам.