Недавно был вынужден временно переключиться на злополучный МГТС*, и тоже столкнулся со схожей проблемой. IKEv2 RSA не работает на Windows, в то время как L2TP+IPsec (IKEv1 PSK) спокойно заводилось. При этом на iOS 11.1 beta 5 IKEv2 RSA также спокойно заводилось.

После проверки через WireShark выяснилось, что пакеты в сети МГТСа фрагментируются (забегая вперёд скажу сразу, что принудительное понижение MTU на клиентском интерфейсе ни к чему не привело).
(естественно это было бы невозможно выявить при использовании жёсткого фильтра на порты UDP 500 и 4500, как это было показано на скриншоте в изначальном вопросе)

И с этим вроде бы должна справляться опция fragmentation = yes на стороне strongSwan, однако Windows 10, по всей видимости, так и не научилась работать с фрагментированными пакетами в IKEv2:

Windows clients support IKEv1 fragmentation, but not IKEv2 fragmentation.

© https://wiki.strongswan.org/projects/strongswan/wi...

* — после подключения белого IP-адреса (МГТС по умолчанию всех прячет за NAT) указанная проблема исчезла.