Стандарт IPsec регламентирует UDP-порты 500 и 4500, в случае использования UDP-инкапсуляции. Сменить их, в общем случае, нельзя, только некоторое ПО это позволяет (strongswan, например).
Невозможность подключения может быть вызвана блокировкой фрагментированных IP-пакетов на стороне провайдера. Не каждый клиент поддерживает фрагментацию средствами протокола IPsec, а длинные сертификаты, вроде RSA 2048, не влазят в один пакет, заставляя клиент фрагментировать пакет на уровне IP. Можно попробовать использовать ECDSA-сертификаты или RSA 1024, он влазит в один пакет при MTU 1350+.
Последний раз когда это проверял он использовал 50105 порт (вместо 4500).
Очень сомневаюсь. Скорее всего, вы что-то не то смотрели.