На сервере какая сборка гита у вас стоит? Есть варианты и могут быть нюансы при задании урла.
Попробуйте варианты:
ssh://user@server/d/git/repo.git
ssh://user@server:/d/git/repo.git
ssh://user@server:d/git/repo.git
ssh://user@server/d:/git/repo.git
По формату URL
тут подробней.
У меня на гит на сервере из состава msys2 работает первый вариант URL.
На сколько помню на "Git for Windows" работает последний.
Кстати, я не так давно настраивал гит сервер на винде. По ssh так и не получилось завести -
любая операция заканчивалась ошибкой. Грешу на плохой канал - сервер у черта на куличках, да еще и через ВПН, скорость не фантан, задержка при передаче приличная. Но сам ВПН работал, ssh то же, а гит отказывался. Пришлось поднять на сервере git-daemon и работать через протокол git, а не ssh.