Если карта briged то ничего не нужно делать в vmware, только на маршрутизаторе и ровно также как для любого другого компьютера. Если nat, то смените на bridge ;-)
Странно это. Проверял transmission в ubuntu в vmware в ubuntu, bridged, порты не пробрасывал - все работает. Получается что закрыто в гостевой macos. Попробуйте запустить transmission с правами администратора?