Вопрос решился, действительно хеш в VCL считался с учетом user-agent посетителя.
Сделано было это для того, что если используется мобильная версия магазина, но она отдельно кешируется. В случае с адаптивной версией - это не нужно. Теперь все быстро работает.