Ping замеряет время прохождения пакета от Вас до точки назначения и обратно.
По пути пакеты передаются от одного маршрутизатора - другому.
Примерный путь от Вас до точки назначения можно оценить с помощью команды traceroute/ tracert.
Каналы между маршрутизаторами имеют разную скорость, загрузку, разную величину задержки.
Маршрут между маршрутизаторами выбирается по множеству критериев, из которых близость - далеко не основной.
Основной - скорее цена канала и его загрузка.
Строго говоря, маршрут пакетов от Вас и обратно может отличаться. Он может отличаться даже для разных протоколов, поэтому показания tracert - это ориентир, но не точный критерий.
И да, у интернета нет единого хозяина.
Поэтому даже Ваш провайдер не всегда модет повлиять на маршрут прохождения пакетов.