Все модели для сегментация изображений что мне попадались, используют квадратный вход.
Это каким-то образом сказывается на точности или может сделано для унификации?
На практике кажется хорошей идеей установить размеры входного слоя пропорционально сторонам входного изображения.