Смысл адаптивного сайта в том, что он дает одинаковые возможности (функционал, контент и т.д.), одновременно обеспечивая наилучший пользовательский опыт на любом устройстве.
Если зайдя с телефона я не могу что-то увидеть/прочитать/сделать на сайте - это проблема.
В таких случаях следует делать отдельно большую/тяжелую/функциональную версию и отдельно легкую/урезанную мобильную. С возможностью нажать "показать полную версию" даже если пользователь зашел с телефона.
Помимо UX есть и техническая сторона.
Адаптивный сайт не требует каких-то особых оптимизаций. Спрайты, свг-иконки, минификация, структура, грамотный js код и т.д. - это уже по дефолту должно делаться.
Но есть момент с контентом: адаптивные изображения, адаптивные изображения в css (фоны например).
Все поскрывать можно. Но вот картинки с display: none; все равно на данный момент грузятся во многих браузерах.