Эм... вы меня конечно извините, но если для вас это не критично - посмотрите как работает docker и запустите тот же gitlab через него.
А вообще - в конфиге гита должен быть указан порт который необходимо использовать. Как правило - это 22 порт, соответственно на сервере для авторизации необходимо 22 порт сменить на какой-либо другой. По поводу авторизации - через гитвеб в профиле человек вроде может загрузить свой личный ключ. Так что вроде всё просто. Или было так года 4 назад когда я последний раз поднимал гит-сервер пытаясь руками собрать его в кучу. Так что очень советую использовать docker.