Люк Вроблевски написал отличную книгу "Сначала мобильные". Рекомендую к прочтению.
Как Вы могли знать уже, то один из существенных минусов адаптивной разработки это большой избыточный код, который негативно влияет на отображение страниц в мобильных устройствах из-за медленного(что чаще всего и бывает) инет-соединения.
Верстка от мобильных устройств подразумевает то, что вы верстаете от минимальной ширине к максимальной, тем самым отсекая часть не нужного кода. Верстая же от десктопа Вы используете max-width и в таком случае планшеты и мобильные получают лишний неиспользуемый код.
Только это всё теория и как сказал
meam верстать сначала для мобильных может быть очень сложно, если нет готовых макетов и дизайн изначально подразумевает основную версию - десктопную. В таком случае нужно начинать верстать от десткопа, используя по максимуму резины, чтобы свести к минимуму медиа-запросы.
Подводя итоги:
Если проект нацелен, в основном, на мобильные устройства, то 100% нужно верстать mobile first.