Причину различного поведения я так и не понял, но решение смог найти:
ScrollBarPolicy - выключают скроллбары, даже если они контролу зачем-то захотелись быть нужными
setStyleSheet - откличает однопиксельную рамку виджета. Видео масштабируется под размер виджета, поэтому наличие-отстствие этой рамки не должно влиять на определение размера вьюпорта и на появление скроллбаров. Убрал из эстетических соображений, мне не нужна была обводка.
QGraphicsView* view = new QGraphicsView( this );
view->setScene( scene );
view->setStyleSheet( "border-width: 0px; border-style: solid" );
view->setHorizontalScrollBarPolicy( Qt::ScrollBarAlwaysOff );
view->setVerticalScrollBarPolicy( Qt::ScrollBarAlwaysOff );
view->setSizePolicy( QSizePolicy::Ignored, QSizePolicy::Ignored );
view->show();