А еще к вышесказанному погуглите про файл ~/.ssh/config и как в него "запоминать" хосты с настройками подключения. Чтобы потом писать только ssh servername.
Чтобы скачать файл с удаленного хоста на локальный, с локального выполняем:
scp username@remote:/file/to/send /where/to/put
Где, username@remote - удаленный хост и юзер на нем :/file/to/send - абсолютный путь к нужному файлу на удаленном хосте /where/to/put - абсолютный путь к целевой папке на локальном хосте
Ключ свой надо импортировать на AWS до создания инстанса. Для ранее созданного сервера он не добавится, надо ручками - залогиниться на сервер другим способом и добавить ключ в папку юзера/.ssh
Посмотреть последние действия можно, если подключиться к коробке по SSH. А как иначе вы хотите смотреть логи, не имея доступа? У хостера, который вам VPSку дал, есть контрольная панель? У Digital Ocean, Hetzner, Amazon AWS есть возможность подключиться к ящику из контрольной панели, сбросить пароль. Должно быть у других хостеров тоже.
