Приватный ключ для доступа к репозиторию не нашёл куда добавить, пока так оставил.
Никогда и никуда кроме как под терморектальным криптоанализом приватные ключи не отправляйте.
По поводу сборки - вы что собирать хотите? Судя по всему конфигурации у вас нет, непонятно зачем и куда вы deploy keys добавляли, или вы с виртуалки в хост хотите деплоить?
Что за файл ssh-rsa тоже не понятно, если вы имели ввиду id_rsa - то это как раз тот приватный, который нужно беречь и никому не показывать.
Каша у вас в голове какая-то, вы чего сделать хотите-то?
Если открытый проект - тесты и деплой можно делать с помощью Travis CI бесплатно.