Почему Varnish не использует горячий кеш для отдачи пользователям?

Question

[Grohotun]

Здравствуйте,

Я использую связку из (NGINX + PHP5-FPM) -> VARNISH -> Пользователь.
Для подогрева кеша используется warm-up. (т.е. каждые 10 минут сервер сам заходит на себя, обновляя кеш)
После чистки кеша - страницы грузятся первый раз около 2 сек, потом - 0.02 сек, так как из кеша (если смотреть логи)

Но! Если зайти простым пользователем с ноута - при первой загрузке страницы она грузится долго, как будто не из кеша. Последующие разы - быстро, из кеша.

Вопрос: почему простому пользователю страница еще раз грузится? Почему не из кеша горячего берется?
Смысл тогда делать кеш?

Модуль используется этот для кеша - https://github.com/nexcess/magento-turpentine/wiki...

Answer 1

[Grohotun]

Вопрос решился, действительно хеш в VCL считался с учетом user-agent посетителя.
Сделано было это для того, что если используется мобильная версия магазина, но она отдельно кешируется. В случае с адаптивной версией - это не нужно. Теперь все быстро работает.

Comments

[Олег Батищев]

ну вот значит я был прав и надо мой ответ отменить как решение :D

Answer 2

[Пума Тайланд]

вы берете страницу не из кеша
логично что разогрев кеша у вас не работает

Comments

[Grohotun]

Почему не из кеша? Url один и тот же. Как тогда разогревать?

[Пума Тайланд]

ну зайдите заголовки посмотрите там написано из кеша или нет
ну разогревайте вручную если вармап не можете настроить
у тюрпентайна же есть подробная дока

[Grohotun]

Так и смотрю - хитов 0 при первом заходе. Но почему хиты не считаются от встроенного warm-up и скрипта, который идет в гите (https://github.com/nexcess/magento-turpentine/blob... Можете скинуть доку, если я не прав?

[Пума Тайланд]

расскажите мне как вы запускаете встроенный вармап?

[Пума Тайланд]

зайдите на сайт некцеса и почитайте сами
вам лень что ли ?

[Пума Тайланд]

то есть вы видите что никто на страницу не заходил и удивляетесь почему она не в кеше?
Ой я стрельнул себе в ногу, почему она болит.

[Grohotun]

Встроенный, два варианта
1)Через скрипт warm-up. Лог 46.182.31.999 - - [30/Sep/2014:16:00:05 +0400] "GET http://ххххх HTTP/1.1" 200 0 "-" "JoeDog/1.00 [en] (X11; I; Siege 2.70)"
2)Через встроенны в модуль warm-up. Лог 46.182.31.999 - - [30/Sep/2014:04:14:55 +0400] "GET /xxxx HTTP/1.1" 200 20793 "-" "Nexcessnet_Turpentine/0.6.0 Magento/1.9.0.1 Varien_Http_Client"

[Grohotun]

Заходил, читал, не один раз.

[Пума Тайланд]

то есть вы прочитали с запуска вармапа что хиты в варнише увеличились и потом сразу после этого сразу пытаетесь зайти на туже самую страницу ?

[Grohotun]

Оба варианта - по расписанию каждые 10 минут запускались.

[Grohotun]

Хиты - я просто проверил, что при первом заходе - у варниша нету кеша, что собсветнно проблемой и является

[Пума Тайланд]

ну вы в вормапе проверяйте а не у юзера

[Grohotun]

в вормапе - как раз нормально, хиты считаются и все быстро отдается

Answer 3

[Alex Chistyakov]

Дефолтный vcl Varnish запрещает отдавать кэшированные страницы, если в запросе были куки или заголовок авторизации:

if (req.http.Authorization || req.http.Cookie) {
        /* Not cacheable by default */
        return (pass);
    }

Готов поспорить - куки у Вас были.

Comments

[Grohotun]

Проверил с очищенными куки и в приватном решиме - страница не из кеша отдается.

[Alex Chistyakov]

@Grohotun А что показывает varnishlog? Есть ли в логе VCL_call c recv lookup для этого запроса?

[Grohotun]

10 RxHeader c Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
10 RxHeader c User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.124 Safari/537.36
10 RxHeader c Accept-Encoding: gzip,deflate,sdch
10 RxHeader c Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4,de;q=0.2
10 RxHeader c Cookie: frontend=7e97ffcde357435785c11e4614cb3cd3; external_no_cache=1
10 VCL_call c recv lookup
10 VCL_call c hash
10 Hash c /yyy.html
10 Hash c xxx.ru
10 Hash c
10 Hash c chrome
10 Hash c gzip
10 VCL_return c hash
10 VCL_call c miss fetch
10 Backend c 12 default default
10 TTL c 370378417 RFC 0 -1 -1 1412087220 0 1412087222 375007920 0
10 VCL_call c fetch
10 TTL c 370378417 VCL 72003 -1 -1 1412087217 -3
10 VCL_return c deliver
10 ObjProtocol c HTTP/1.1
10 ObjResponse c OK
10 ObjHeader c Server: nginx/1.6.2
10 ObjHeader c Date: Tue, 30 Sep 2014 14:27:02 GMT

[Alex Chistyakov]

VCL_call c miss fetch - ну вот же, cache miss. Не было в кэше этого файла.

[Grohotun]

@alexclear я понимаю, что miss идет. Я не понимаю, почему warm-up не прогревает кеш для всех, а только для себя самого.

[Alex Chistyakov]

Я вот только не понял - зачем в вычислении хэша участвуют chrome и gzip. То есть, gzip-то ладно, а вот chrome - там правила так написаны, что браузер учитывают, что ли?

[Grohotun]

Я заходил в хроме для теста.
В конфиге - есть только такое

if (req.http.User-Agent ~ "iP(?:hone|ad|od)|BlackBerry|Palm|Googlebot-Mobile|Mobile|mobile|mobi|Windows Mobile|Safari Mobile|Android|Opera (?:Mini|Mobi)") {
set req.http.X-Normalized-User-Agent = "mobile";
} else if (req.http.User-Agent ~ "MSIE") {
set req.http.X-Normalized-User-Agent = "msie";
} else if (req.http.User-Agent ~ "Firefox") {
set req.http.X-Normalized-User-Agent = "firefox";
} else if (req.http.User-Agent ~ "Chrome") {
set req.http.X-Normalized-User-Agent = "chrome";
} else if (req.http.User-Agent ~ "Safari") {
set req.http.X-Normalized-User-Agent = "safari";
} else if (req.http.User-Agent ~ "Opera") {
set req.http.X-Normalized-User-Agent = "opera";
} else {
set req.http.X-Normalized-User-Agent = "other";
}

[Alex Chistyakov]

Ну вот, как я понимаю, этот самый chrome учитывается при расчете хэша. А поглядите, как считается хэш в логе для ворм-апа. Скорее всего, там вместо chrome будет что-то другое, и вот это "что-то" имеет смысл выставлять всем при нормализации браузера. Либо сделать так, чтобы браузер не входил в хэш. У меня с дефолтным VCL браузер на расчет хэша не влияет.

[Grohotun]

@alexclear В настройках есть поле "Crawler User Agents"
Там по умолчанию вписано
ApacheBench/.*,.*Googlebot.*,JoeDog/.*Siege.*,magespeedtest\.com,Nexcessnet_Turpentine/.*

Если я правильно понял, то сюда надо вписать юзер-агенты Chrome,FF,IE?

Такого плана?
Firefox/.*,Chrome/.*

?

[Alex Chistyakov]

Вот не знаю - надо смотреть, чем Ваш vcl отличается от дефолтного (а он, похоже, отличается), и что происходит, когда делается warm-up (как считаются хэши при этом).

Answer 4

[Олег Батищев]

warm-up прогревает кеш скорее всего с юзерагентом other
вывод: надо убирать браузер из хеша