Drno

Можно перейти на webdav протокол, он предназначен для передачи не по локалке

проверить скорость связи между всеми узлами от клиента до smb сервера, может где то проблема со скоростью

попробовать другой протокол впн, например zerotier или sstp

Маршрутизацией. Вам надо "поймать" траффик от нужных юзеров(видимо по их IP) и направить их в нужный шлюз.
я не знаю умеет ли такое керио, микротики или линукс умеют

Подключить клиентов в lan порт керио, тем или иным способом.
Как минимум нужна 2я сетевая карта для него

Присоединяюсь к вопросу - итоговая задача то какая от керио? тупо шлюз в инет?

Так что есть минимум 3 опенсорсных хороших проекта. Которые и работают хорошо, и кушать не просят...

В идеале - кабель в керио. ( хоть я и не люблю керио)
Ллибо DMZ на роутере настроить

На винду их как бы фактически нет

На Linux есть как минимум 3-4 хороших продукта

Микротик это роутер, шлюз,ВПн сервер, wifi сервер. Там нет антивируса. IPS в понимании Керио тоже нет. Как настроете брендмауэр так и будет работать. Обычная философия линукс - запрещаем всё, потом разрешаем только нужное. Как следствие - нафиг ненужен "анализ вторжений". Микротик не будет автоматом проверять файлы, блокировать какие то сайты\порты. Т.к. это немного нелогично. Для такого обычно используется прокси

Керио это комбайн, в который напихали че только надо и не надо)
Микротик это РОУТЕР с отличным функционалом

Я думаю что максимальный вариант приближения к Керио по кол функционала это pfSense. Но могу ошибаться

Керио имеет Ван интерфейс и Лан интерфейс. Входящие блокировать надо на ВАНе
Локальные у вас через лан порт заходят

Ну Вам нужен на роутере так называемый "обратный NAT"
К примеру на микротиках это называется Harpin NAT...
Роутер какой?