Это нормальное состояние для SOHO-роутера.
Ответ на пинг - это функция с, пожалуй, наименьшим приоритетом в подавляющем большинстве устройств. И соответственно если устройство занято хоть чем-нибудь более важным с его точки зрения, тайм-аут будет приличным (порой - неприличным, а иногда даже и потери возможны).
Для проверки, что проблемы нет - попингуй не свой роутер, а его дефолтный шлюз, который у провайдера. Там скорее всего более солидная железка, у которой ресурсов достаточно для быстрого ответа на пинги, а твой роутер будет выполнять не низкоприоритетный ответ на пинг, а высокоприоритетную маршрутизацию. Как итог - время будет чуть поболе (скажем, 2-3 мс), но без всплесков на 10 мс от обычного либо с гораздо более редкими всплесками и на меньшее значение.
