Столкнулся с такой же проблемой, путем проб и ошибок получил такой конфиг (клиент и сервер за NAT, strongswan 5.7):

config setup

conn %default
    ikelifetime=60m
    keylife=20m
    rekeymargin=3m
    keyingtries=1
    ike=3des-sha1-modp1024!
    esp=3des-sha1!

conn l2tp_psk
    keyexchange=ikev1
    left=%defaultroute
    auto=add
    authby=psk
    type=transport
    leftprotoport=17/1701
    rightprotoport=17/1701
    right=XXX.XXX.XXX.XX # Публичный IP сервера
    rightid=XXX.XXX.XXX.XXX # IP сервера в локальной сети
    rightsendcert=never