Спасибо всем за советы, они подтолкнули меня к правильному решению.
Собственно решение.
Все решается путем редактированием файла
/etc/ssh/sshd_config- Разрешим доступ только пользователю user и пусть заходит откуда хочет.
AllowUsers user
- Создадим директиву разрешающую пользователю user только SFTP и определим ему директорию (у меня это уже было)
Match User user
ChrootDirectory /ftp/user/
ForceCommand internal-sftp
- Создадим директиву разрешающую доступ по SSH пользователю admin только если ip адрес клиента входит в диапазон локальных адресов
Match Address 192.168.0.0/24
AllowUsers admin
Может кому пригодиться.