Можно ли зайти на Linux сервер имея только SSH Private Key?
Ключа Private Key + login достаточно для входа. Но нужно выполнить действия ниже, чтобы избежать ошибку связанную с несовместимостью форматов ключа:
Unable to use key file (OpenSSH SSH-2 private key (old PEM format)): Unable to use key file

Как избежать ошибку?
Сохранить Private Key у себя - открыть PuTTYgen - нажать кнопку "Conversions" - далее "Import key" - выбираем сохраненный Private Key. Далее нажимаем на кнопку "Save private key" (для конвертации ключа после импорта) - сохраняем в формате .ppk - всё Private Key можно использовать.