Браузер пропустит медиа-блоки, которые не подходят.
В вашем случае на ширине 320 блок media (min-width: 480px) будет пропущен, ибо он означает стили, применяемые на ширине
от 480 пикселей.
Или плюс состоит лишь в том, что браузер, когда читает файл делая это сверху-вниз, сначала натыкается на "мобильные" стили?
Именно так. мобильному браузеру не приходится анализировать всю таблицу стилей, что бы вычислить применяемый к элементу стиль. => меньше нагрузка => меньше разряд батареи и меньше тормозов (хотя тормоза это уж на совсем бюджетных моделях)
Кроме того, это отлично сочетается с подходом progressive enhancement. Вы верстаете простой блок для отображения в мобильном варианте, и постепенно улучшаете, расширяя его визуально и функционально на больших разрешениях.