CityCat4

Ну добро. Берем конкретную модель - Mikrotik RB4011iGS, 1 SFP+ слот, 10 гигабитных портов, аппаратное шифрование IPSec.
Конкретно как и чем осуществляется шифрование - это тебе вряд ли кто скажет, кроме инженеров микротика, но если интересно, можешь сравнить результаты тестов с RB2011 например.
Непосредственно же шифрование выполняется ядром маршрутизатора во время прохождения пакета, попадающего под политику шифрования - лучше всего этот процесс иллюстрирует эта схема (на ней процесс шифрования/дешифровки называется xfrm).
Для установленного соединения по IPSec есть записи в двух таблицах ядра - SPD (Security Policy Descriptor) и SAD (Security Associations Descriptor). Первая содержит информацию, что шифровать, вторая - как шифровать, а ядро согласно этим данным и работает.

Перейти на сертификаты полностью. Ну и конечно же для начала нужно задать себе вопрос "Кто и каким образом угрожает моей безопасности" (модель нарушителя называется), а то может быть и VPN-то не нужен :)

Я так предполагаю, что DNS у Вас ходит через провайдера и провайдер Вам и подсовывает каку. Запросы DNS нужно отправлять в туннель до того момента, как они покидают локалку - то есть в момент ухода пакета к прову, он уже должен быть пакетом в сторону VPN, а не запросом DNS.