ky0

На клиенте вы указываете приватный ключ. На сервере публичный ключ должен находиться в одном из мест, в которых ищет SSHD (настраивается, обычно кладут в ~/.ssh).

В целом, для большого количества файлов я бы использовал rsync -a

В терминале w, Enter. Третья колонка.

Удалить этого пользователя из группы sftpUser.

Почему в файле auth.log множество попыток входа по SSH?

Потому что не надо открывать SSH на весь интернет - хоть по ключу, хоть на нестандартном порту. Это изначально порочная практика, не приводящая к катастрофическим последствиям ровно до обнаружения очередной серьёзной 0-day уязвимости openssh-server.