1. Не знаю, решит ли это конкретно Вашу проблему, но беспокоится вы должны о private key , а не о public key. Публичный ключ должен быть где-то указан на стороне сервера, как Ваш идентификатор.
2. Посмотрите в переменные окружения, и конфиги гита, быть может там указан другой ключ