Ну добро. Берем конкретную модель -
Mikrotik RB4011iGS, 1 SFP+ слот, 10 гигабитных портов, аппаратное шифрование IPSec.
Конкретно как и чем осуществляется шифрование - это тебе вряд ли кто скажет, кроме инженеров микротика, но если интересно, можешь сравнить результаты тестов с RB2011 например.
Непосредственно же шифрование выполняется ядром маршрутизатора во время прохождения пакета, попадающего под политику шифрования - лучше всего этот процесс иллюстрирует
эта схема (на ней процесс шифрования/дешифровки называется xfrm).
Для установленного соединения по IPSec есть записи в двух таблицах ядра - SPD (Security Policy Descriptor) и SAD (Security Associations Descriptor). Первая содержит информацию, что шифровать, вторая - как шифровать, а ядро согласно этим данным и работает.