Кэширование данных в памяти сервера?

Question

[Михаил Плюснин]

Доброе утро, очень интересен данный вопрос. Идея такова, что имеем паттерн репозиторий и оборачиваем его кэшем, к примеру можно будет реализовать это с помощью MemoryCache. Но с этим возникают ряд других вопросов:

1. Главный из них: Как синхронизовать кэшированнные данные при изменениях(CRUD) записей БД? Дергать кэш, доставать старые данные и добавлять туда новые? Или полностью делать очистку кэша измененных данных?
   
2. Могут возникнуть проблемы с доступом к кэшу из разных потоков? Пишут что MemoryCache потоко безопасен, спору нет, но если ты просто читаешь данные из кэша. А вот если у тебя один поток читает, а другой пишет в кэш, без блокировок тут уже не обойтись.
   
3. Может быть не стоит делать велосипед?
   
4. Есть какие-то готовые и проверенные решения данного вопроса?
   
   

Answer 1

[Иван Филатов]

1. в MemoryCache есть понятие Expiration(Времяжизни куска данных). Т.е. вы задаете условно сколько по времени хранить данный объект в кеше. Зависит от ваших задач. Допустим 5 минут.
Задаете 5 минут, для объекта кладете его в MemoryCache методом Add.
При получении делаете Get - если объект не истек по времени, вернется объект, если истек - получите null - проверяете на null - получаете данные по старинке, снова задаете Expiration - и снова делаете Add.
Если вам надо принудительно очистить - делаете Remove.
Также есть метод AddOrGetExisting - он как бы объединяет логику и упрощает код.

2. Чтобы писать из разных потоков нужно писать самому реализацию. Вот пример - MemCache.cs

4. Реализации оберток над MemoryCache есть, не могу что-либо порекомендовать. Но в гугле/github'е находятся. Изучайте.

Comments

[Михаил Плюснин]

по 2, 4 пункту спасибо, но по первому вы приводите пример обычной реализации, который понятен. Но меня интересует именно, как лучше сделать синхронизацию данных в кэше с данными, которые были обновлены в БД в данный момент? Т. Е. к примеру пользователь делает выборку новостей -> вытаскиваем новости из базы -> кладем в кэш, с временем жизни 10 мин -> отдаем данные пользователю. Пока все идет хорошо. Модератор добавляет новую новость в бд -> получается, что ее пользователи увидят, только через 10 минут. А хочется, чтобы пользователи прямо сейчас получали свежие новости, следовательно, как то надо синхронизовать кэш-данные с данными бд в этот самый момент. Поэтому я и спрашиваю как это удобней сделать? После CRUD с данными, обновить кэш-данные? Или просто жестко убить данные в кэше? Или можно ввести какой-нибудь объект-маячек, с состоянием, который будет проверять изменялись ли кэш-данные?

[Иван Филатов]

Михаил Плюснин: если у вас CRUD подход такой:
на Insert/Create делаете Add в кеш;
на Get/Read - делает Get - если устарели - делаете Get из БД - затем Add в кеш;
на Update делаете Set в кеш;
на Delete/Remove - делаете Remove в кеше.

Пользователи увидят новые данные сразу. Кеш нужен только чтобы не обращаться в БД лишний раз. А снижение нагрузки на БД выражается как раз в Expiration.

Еще есть момент - если у вас данные обновляются из другой системы - например Админки, командной строки или вообще напрямую в БД внесли данные - в этом случае - да, увидят информацию новую не сразу - а когда закончится Expiration.

[Иван Филатов]

еще есть подход называется ReadModel + CQRS. На основе событий, сообщений.
Т.е. ваш кеш реализуется в виде слушателя сообщений на изменение данных. Репозиторий при изменении БД шлет событие в шину данных - слушатель обновляет себя в пямяти и отдает данные сайту.
Т.е. в БД мы пишем в одной системе - а читаем в другой. Разделяем нагрузку.
При этом число слушателей можно увеличить, сделать больше одного. Но писать данные может только одна система. Почитайте про CQRS - она может даже лучше зайдет вам. Но там много кода и работы. MemoryCache проще.

[Михаил Плюснин]

Иван Филатов: Спасибо, очень исчерпывающе.