если на VPS отдельно не ставился ftp сервер, до подключаться надо по протоколу ssh - sFTP
какой порт - можно посмотреть в настройках (в конфиге) ssh - обычно по адресу /etc/ssh находятся файлы конфига
по сути это тот же порт, по которому Вы по ssh подключаетесь, и с тем же логином и паролем надо