Что делать в случае «холодного кэша» в час пик?

Question

[driverx18]

Есть запрос, который выполняется 8-12 сек и кладется в мэмкэш. В случае час пика, когда каждую секунду заходит по +50 чел на сайт - это может быть очень плохо, пока первый пользователь заходит и запрос выполняется, остальные 49 в это же время тоже выполняют запрос и пригружают базу. Читал на хайлоаде статью, но так и не понял их путь решение, зачем они делают еще один ключ.
Кто как посоветует побороть эту ситуацию?

Comments

[kafkiansky]

50 человек на сайт? хайлоад? цирк?

[driverx18]

kafkiansky, нолик потерял =)

Answer 1

[d'Ivan]

Согласно статье резервный кэш отдает данные пока выполняется тяжелый запрос и обновляется основной.

Answer 2

[Gomonov]

Во-первых, в статье подразумевается (хоть и не говориться), что у вас не будет "простоя" в запросах на величину ttl запасного, иначе оба кеша могут быть сброшены. А так логично. Основной кеш инвалидируется каждый час (как бы мы должны его инвалидировать), предположим там лежит X, как и в запасном. Хотя в базе, например уже Y. Суть подхода, что в момент инвалидации кеша первым запросом перезаписать основной кеш опять же на X из запасного, остальные запросы будут получать этот X ещё некоторое время, пока первый не выполнится до конца. Он выполняется - и только тогда основной и запасной получают Y.
Получится такая цепочка ответов во времени: X X X X X X |сбросился основной кеш| Y (это долговыполняющийся запрос) X X X X |здесь выполнился долгий запрос и только отдался ответ| Y Y Y Y
P.S. спасибо за сылку на статью

Answer 3

[Игорь Воротнёв]

Работу с кешем нужно строить по 1 из 2 путей:

1. Prime cache - ресурсоемкий запрос выполняется по установленному вами расписанию/событию и обновляет кеш, пользователь всегда получает данные только из кеша.

2. Serve stale - выполнение ресурсоемкого запроса и обновление кеша идет параллельным процессом, в это время пользователи все еще получают предыдущие (пусть и менее актуальные) данные. Опять же, пользователь всегда получает данные только из кеша.

Comments

[driverx18]

1. Я так понимаю что это запуск из крона
Но если он запустится допустим в 5 утра и в 5 утра хочет зайти 200 чел, не будет ли тоже самое, что пока с крона прогружается, юзеры тоже базу забивают?

[Игорь Воротнёв]

driverx18, сначала выполняется задача и перезаписывает существующие данные. Пока она выполняется, пользователи получают предыдущую закешированную версию. В обеих случаях вы упустили ключевой момент - пользователь НИКОГДА не выполняет ресурсоемкую задачу, он ВСЕГДА получает данные из кеша, пусть даже устаревшие.