Нет, не повредит.
Наличие или отсутствие IPSec никак не влияет ни на трафик, ни на его безопасность.
IPSec это просто набор протоколов для шифрования, аутентификации, и безопасного обмена ключами.
Если вам это нужно - используете, если нет, не используете.