Можно на основной стиль (который для десктопа) поставить атрибут медиа, и в нем прописать media query.
Например:
<link rel="stylesheet" href="desktop.css" media="screen and (min-width: 500px)">
Тогда этот файл будет грузиться только на девайсах с шириной экрана больше 500px.
Соответсвенно на мобильных стилях будет:
<link rel="stylesheet" href="mobile.css" media="screen and (max-width: 499px)">