Мне же нужно как-то перетащить тот публичный ключ с сервера себе на ноутбук, но ведь ключи работают в связке приватный и публичный.
Не нужно. Публичный ключ помещается на машину к которой ты собираешься подключаться.
Удобно копировать публичные ключи с компьютера на сервер с помощью
ssh-copy-id.
ssh-copy-id user@ip_address и публичный ключ с домашнего компьютера скопируется на сервер.
Всегда делай отдельную пару ключей для каждой машины (домашний компьютер, рабочий компьютер, ноутбук, телефон, планшет - у каждого устройства должны быть отдельные ключи).
Приватный ключ никогда не должен покидать машину на которой был с генерирован, а так же должен быть защищён паролем (чтобы не вводить пароль от ключа каждый раз используй ssh-agent).
PS
Рекомендую вместо RSA использовать ED25519, пару ключей можно сгенерировать так
ssh-keygen -t ed25519. Такие ключи нисколько не устумают в криптостойкости RSA, но шифрование происходит быстрее и, они короче (оценишь, когда надо будет скопировать публичный ключ руками).
