Вам нужно увеличить время жизни кеша.
Добавьте следующее:
pagespeed on;
pagespeed FileCachePath /var/ngx_pagespeed_cache;
pagespeed FileCacheCleanIntervalMs 86400000;
pagespeed FileCacheSizeKb 409600;
location ~ "\.pagespeed\.([a-z]\.)?[a-z]{2}\.[^.]{10}\.[^.]+" {
add_header "" "";
}
location ~ "^/pagespeed_static/" { }
location ~ "^/ngx_pagespeed_beacon$" { }

Это увеличит время жизни кеша до одних суток, увеличит размер кеша до 400 мб.