Если отвечать на вопрос из заголовка, то да, можно. Это можно сделать на уровне настроек sshd (/etc/sshd_config). Для этого надо сначала настроить дефолтную конфигурацию, которая позволяет использовать только sftp, а потом добавить секцию Match (смотрите man sshd_config), которая по совпадению адреса позволит использовать ssh. Эта секция перегружает дефолтные настройки при совпадении условия.