Там очень много зависимостей. Некоторые важные из них:
1) Физический размер 1го пикселя. Применительно к видеокамерам. Менее применительно к фотикам. Иначе говоря, чем больше физический размер пикселя, тем больше у него характеристик. - меньше шумности, больший отклик, больше информации может нести.
2) Чем больше физический размер матрицы, тем качественней объектив можно поставить.
Да, в целом, в стандартных условиях вы не ощутите разницу. Даже более того - вы иногда не сможете заметить разницу между камерой телефона и зеркалкой в самых идеальных условиях. Вы так же не заметите разницу в идеальных условиях между хассельбладом и дешевым кэноном -
https://tityaev.livejournal.com/6856.html
Но при этом не всегда большой размер матрицы (физический) - это плюс камеры. Иногда бывает наоборот. Репортажные камеры чаще имеют меньший размер матрицы, чем студийные камеры.
Если брать видео, то снимая на ФФ (36мм) - вам сложнее будет настроиться на фокус при репортаже. А стандартный кинокадр - это super35 , что соответствует APS-С матрице.
Новые фишки типа автофокуса в фотоаппаратах при видео - работают как раз на кропнутых камерах.