1. брандмауэр OC замедляет пакеты из docker сети
2. Routing изнутри докера ведет пакеты по другому маршруту - хотя сложно представить. traceroute?
3. Проверь, поменяй тип сети на контейнере
п.с. нарисовал бы схему сети, было бы легче... например
https://excalidraw.com/