При любой вёрстке (не только адаптивной) следует оптимизировать страницы. И кеш и картинки и минифицировать js, css и т.д. По поводу должен ли это делать другой специалист? Нет, нужно делать максимально на что способен. А если в компании, где вы работаете/будете работать не окажется SEO специалиста? Самый лучший учитель - собственный опыт. Вот когда его поднакопится, такие вопросы возникать перестанут