Или лучше не привязывать внешний вид сайта к мобильному User Agent, а делать сразу адаптивным?
Именно так.
Навряд ли многие люди так уменьшают окошко браузера вручную и для чего это нужно...
Почти все так делают у кого мониторы больше 24". Другой вопрос - насколько.. Но адаптивный дизайн - это не про уменьшение окна, а про комфортную работу на узких экранах.
Привязка же к UA - это тоже не про адаптив. Это про функционал.