Возможно проблема связана с DNS именами, потому что когда я пинговал через DNS с сервака, мне возвращался один айпишник, а когда я делал тоже самое со своего машины под vpn, то возвращался уже другой айпишник. В настройках OpenVPN сервера указывал DNS и DHCP гугла.С ними и связана.
sudo mv /etc/ssh /etc/ssh_backup
sudo apt install --reinstall -o Dpkg::Options::="--force-confask,confnew,confmiss" openssh-server
sudo service sshd restart
Я не хочу постоянно настраивать с 0.