Очевидно, что множество media содержат больше символов, и результирующий CSS файл получается больше. Отсюда следует, что в абсолютных единицах при прочих равных условиях файл со множеством media будет загружаться дольше. :)
Если ваши стили не измеряются десятками тысячами строк, то о таком париться не стоит. В современных браузерах парсинг css очень хорошо оптимизирован, так что если для комфортной разработки вам требуется использовать много media, так и поступайте.
Евгений Полевов: В общем про увеличение размеров самого файла уже написали выше. Но тут любому понятно, что речь идет о крупицах, в сравнении с картинками/большими либами. Тем более если css минифицирован.
Касательно скорости парсинга ссылок на статьи сейчас не найду, но могу с 95% уверенностью сказать что разница в скорости парсинга между 5к и 10к строк стилей, допустим, будет составлять менее 10-15мс (если конечно у вас там не используются селекторы с 5+ уровнями вложенностями, node-tag'ами на конце и прочими жуткими вещами в больших количествах).