Удалить все, кроме ssh.
Создаете двух пользователей: один для администрирования, второй для копирования. Их можно явно указать в sshd_config (директива AllowUsers).
Ставите rssh, в /etc/rssh.conf расскоментируете allowscp и allowsftp, а у пользователя для копирования меняете шелл на /usr/bin/rssh.
После этого у вас будет то, что вы просите.
ps.
Для полноты эффекта отключаете авторизацию по паролям, ограничиваете как минимум диапазон подключаемых айпишников, через iptables закрываете все порты кроме порта для ssh, который перевешиваете от роботов на любой другой порт выше 1024.
Если уж совсем паранойя мучает, то можно реализовать port knocking (: