Покажите пример прогрева кеша для своего проекта?

Question

[Evgeny_A]

Здравствуйте.

У меня есть веб-приложение, которое содержит много уникальных страниц. Как часто бывает, быстро образовался 10% пул самых популярных страниц и именно эти страницы лихо обрабатываются memcached. Проблема в том, что проект посвящен очень узкому направлению коммерции и каждый визит реально очень важен и хочется, чтобы даже при обращении к менее популярным страницам, все грузилось быстро. Еще не приятно видеть санкции от Google и Яндекса по поводу того, что сайт работает медленно.

В самом движке приложения нет способа "отправить все страницы в кэш" и я пытаюсь найти пример скрипта или последовательности действий, чтобы иметь возможно в любой момент загрузить в кеш все страницы проекта. Можете рассказать, как вы делаете это на своих проектах и возможно плюсы/минусы подобного решения?

Comments

[АртемЪ]

Не совсем понятно при чем тут прогрев кэша?
У вас вроде задача закэшировать всю статику насколько я понял?

[Evgeny_A]

АртемЪ, спасибо за комментарий. Я пытаюсь решить задачу "как сделать быстрой загрузку не популярных страниц". С моим уровнем знаний, если страница попала в кэш memcached, то страница будет грузится быстро, но если к не популярной странице обращение впервые, то и в кэше ее не будет. Вот и думаю, как отправить все страницы сайта в кэш.

[АртемЪ]

Evgeny_A, Все страницы статика?

Answer 1

[Владимир]

Все просто:
1 Берете ваш access.log за неделю например
2 делает топ 100 или 1000 самых популярных запросов
3 убираете лишние запросы - логин формы, капчи и тд.
4 то что осталось записываете как список ссылок который можно отдать curl
5 гоняете некоторое время циклом curl по списку ссылок из пункта 4
6 profit!

Comments

[Evgeny_A]

я правильно понял, что со своего же сервера делаю запросы на свой же сервер?)

[Владимир]

это не важно с какого сервера

Answer 2

[Владимир Коротенко]

Посмотрите в эту сторону ключи для поиска в гугле "curl warm up script url"
https://gist.github.com/jaseclamp/27c4b74e535ddd749bbe

В принципе они для любой платформы похожи. Я например разогреваю Sharepoint подвесив скрипт на перезагрузку сервера. После любой перезагрузки вызываются адреса порталов и репортов.

Только обратите внимание на авторизацию и скачивание всего контента.

Answer 3

[Karpion]

Хорошо бы выяснить, что именно тормозит - процессор или диск. Возможно, проще всего апнуть компьютер или оптимизировать CMS.

А так - Вам правильно посоветовали просто скачать весь сайт.

Answer 4

[Александр Аббасов]

Для SEO можно пойти таким путём: подготовить заранее статику для популярных или всех страниц. Работает это так:
1. Вы берете свой sitemap и запихиваете условно в prerender.io или sigmaapi.com
2. Они проходят по каждой странице из sitemap с нужной вам частотой и готовят статику.
3. Далее вы либо скачиваете к себе эту статику, либо настраиваете в своём nginx прокси к их серверам.
4. Когда обращается поисковый бот, то ему довольно шустро отдается статика страницы.
Это все легально с точки зрения поисковых систем. Google к примеру сам рекомендует готовить статику для JS тяжелых сайтов https://developers.google.com/search/docs/crawling...

Вариант попроще, если сами не хотите код писать:
— Вы просто запихиваете в эти сервисы свой sitemap и они обходят ваши страницы. При обходе ваши страницы прогреваются и остаются в кэше.