Через один порт нельзя. FTP использует 21 порт для команд и случайно генерируемый порт для данных.
Можно попытаться использовать на клиенте активный режим, тогда клиент будет открывать порт данных у себя и передавать его серверу, а сервер уже будет подключаться к этому порту. Но такое работает только если клиент не за NAT'ом.
Можно ограничить серверу диапазон портов и пробросить только их, тогда на клиенте можно использовать пассивный режим.