А, простите, клиент на винде какой? Чтобы подключиться с винды, нужно преизрядно побиться головой об монитор... В логе видно, что просто ничего не произошло. Шван получил запрос на порт 500, послал ответ, в ответ не получил ничего и спокойно заснул дальше.
Вот в качестве примера конфиг, проверенный на Win7, на клиентах ShrewSoft и TheGreenBow
conn any-deltahwCA-rsa-sleepycat
auto=add
left=1.2.3.4
leftid="<здесь subject сертификата сервера>"
leftauth=pubkey
leftcert=servercert.crt
leftsubnet=10.1.1.0/24
leftca="<здесь subject СA, выдавшего сертификат серверу>"
leftfirewall=yes
leftdns=10.1.1.1,10.1.1.4
right=%any
rightallowany=yes
rightsourceip=10.1.1.28-10.1.1.30
rightid="<здесь subject сертификата винды>"
rightcert=windacert.crt
rightauth=pubkey
rightca="<здесь subject CA выдавшего сертификат винде>"
keyexchange=ikev1
ike=aes128-sha-modp1024,aes192-sha-modp1024,aes256-sha-modp1024!
esp=aes128-sha-modp1024,aes192-sha-modp1024,aes256-sha-modp1024
ikelifetime=2h
lifetime=1h
Чтобы работала авторизация по сертификатам нужно сначала выдать (или получить) сертификат на сервер, на клиент, их соответственно поставить всюду, на сервер положить сертификат клиента. Данный пример рассчитан на прием соединения откуда угодно с динамическим назначением IP из указанного диапазона