В отличии от протокола http в протоколе ssh нет никакого хоста, поэтому невозможно отличить ssh 1.2.3.4 от ssh example.com если example.com резолвится в 1.2.3.4.
Но в вашем конкретном случае можно попробовать решить проблему потому что git запускает конкретные команды и от этого можно попробовать отталкиваться
