Разобрался. Всё достаточно просто.
Я включил авторизацию на сервер по паролю, после чего сбросил пару ключей, которую генерировал при создании дроплета с помощью PuTTY по
мануалу от digitalocean, после чего сгенерировал новые ключи по
другому мануалу от них же, более простым и адекватным способом. Отправил их, как написано в мануале, на сервер, авторизовавшись по паролю. Теперь подключение к серверу и репозиторию через SSH проходит успешно.
Главное, о чем я ранее не догадался, ключи должны храниться в C:\Users\user\.ssh
Теперь можно отключить авторизацию по паролю.