В общем, проблема решилась после того, как в IPSec Policies Encrypt Level выставил unique, вместо require.
Зато теперь другая проблема. Если отключаю доступ в интернет для данного сервера, VPN траффик не ходит. Видимо маршрут ищет на WAN интерфейсе. Проблему временно решил двумя правилами. Если трафик идет от сервера к внутренней сети партнера, то доступ в интернет даю, все остальное блокирую.
Если у кого-то есть лучшее решение буду рад.