Для команды ssh - флаг -p и порт:
ssh -p 2222 user@host
Для scp - флаг -P (заглавная) и порт:
scp -P 2222 /local/file user@host:/remote/file
Для rsync - через флаг -e можно указать кастомный шелл, соответственно отдаем туда ssh с флагом -p:
rsync -e 'ssh -p 2222'
UPD: Помимо этого можно в папке ~/.ssh (там где ключи) создать файл с именем config (без расширения) и задать там нужным хостам алиасы и многие настройки, включая порт, пользователя по умолчанию и альтернативный ключ, после чего во всех ssh утилитах можно будет писать только алиас:
ssh alias
Документация по доступным параметрам
Плагин к vscode для подсветки и автодополнения в файле ~/.ssh/config