Скорее всего это проблема не порта, а локальных адресов. Если вы подключаетесь к машине в локальной сети, то могут быть проблемы.
Советую перейти на подключение через wireguard. Там можно нормально исключить локальные адреса. Вот эта
утилита облегчит настройку wireguard'a.
Вот еще
тема, которая может помочь с wireguard'ом
