Как ограничить доступ по ssh для определенных пользователей?

Всем привет! Есть сервер на debian 9 с двумя сетевыми картами(для локальной сети и для инетовской).
Из локальной сети доступ по ssh должен быть у всех. Но через интернет должены иметь возможность подключаться 1-2 определенных пользователя, а для остальных доступ закрыть.

Как такое организовать? Штатными средствами ssh, я так понимаю, это не сделать.