Как лучше кешировать полученные данные с сервера?

Question

[Fdrsmrdv]

Всем привет!

Вводная:

У нас есть веб админ панель для сервиса *ИКС*. В ней есть настройки:

- пользователей
- товаров
- адресов магазинов
- тегов клиентов
- типов товаров
- и т.д.

Например теги и типы товаров редактируются крайне редко, но запрашиваются часто. Мы хотим закешировать их где-нибудь в локалсторе и каждый раз при обновлении страницы проверять, не изменились ли updatetAt. Если не изменились, то достаем из локалстори

Вопрос:

Как правильно выполнить кеширование подобного рода?

Answer 1

[Дима Паутов]

Кешировать должен сервер, а фронт запрашивать, пускай и одно и тоже.
Либо запросить 1, а после просто проверять, если данных в переменной нет, запросить.
localstorage это вам не жёсткий диск на 1тб. Там скудное кол-во данных может быть и держать там некую базу глупо, к тому же, геморнее вносить туда изменения, если нужно поменять 1 элемент.

К тому же, а если данные на сервере изменились, фронт как должен это понять? На мой взгляд глупое решение, которое ни к чему хорошему не приведёт.

Comments

[stepa90]

localstorage да плохая идея. Но браузер же может закэшировать файл, если не отключена соответствующая опция. Можно создать файл json на сервере и дергать его с фронта, браузер закэширует и все.

[Дима Паутов]

stepa90, Глупости. Вы только всё усложняете мнимыми оптимизациями. Просто сервер кеширует запросы, всё! Клиент запрашивает и моментально получает свои данные. Не усложняйте себе жизнь. Вы никак не выиграете от этого.

Самый простой пример. Есть список, есть создание элемента списка. Вы создали список, отправили беку запрос, он его принял. Как решать вопрос с тем, что бы отобразить в вашем "закешированном списке" новый элемент?
Вы скажете, ну, просто запушить в массив новый объект и вы будете правы, но ваш элемент не полный, в нём, например может не хватать полей, которые создает бекенд, например id, при помощи которого можно делать какие-то запросы например и т.п.

На мой взгляд клиент не должен у себя кешировать данные, даже которые редко редактируются. Файлы, да, данные нет! Иначе случиться так, что у одного пользователя одни данные, а у другого другие.

[Fdrsmrdv]

Дима Турков, а если пользователей 100 000 и каждый из них запрашивает каждую минуту, каждый свою выборку?
У нас на фронтенде Ember Data, новый элемент после создания автоматически попадает в локалсторе.

Ну хорошо, если мобильное приложение и аналогичная ситуация. К примеру у нас 10 моделей по 20-30 записей на каждого пользователя, 10 000 пользователей и каждый получает свои записи раз в минуту. Тут как раз и вопрос как синхронизировать все и как лучше хранить )

[stepa90]

Дима Турков, я правильно понимаю, что файлы json для хранения какихто данных плохая идея? это же посути просто файл? поменялись данные поменял файл и изменил название и все... что плохого? и еще сервер реально кэширует все даже если redis не стоит??? зачем тогда redis?

[Дима Паутов]

stepa90, 100 000 не так уж и много. Вон, вк несколько миллионов если не десяток. И никаких json файлов там нет. На пропускную способность играет очень много иных факторов.

Я высказал вам своё мнение на этот счёт. Вы можете быть с ним не согласны.

Хранение в json глупая и до сих пор не понятная мне затея. Взять из базы и положить в json??? Когда для этого есть серверный кеш. К тому же, этим кешем можно управлять.

Кеш на сервере это те же самые файлы, только в них уже полностью обработанная информация лежит. Только возьми. Т.е. в базу идти не нужно, делать выборку, формировать её, обрабатывать и т.п. Всё уже в кеше готово, только возьми.

Вопрос синхронизации остаётся открытым при вашем подходе.

Answer 2

[Андрей]

localStorage ограничен пятью мегабайтами, поэтому он может внезапно поломаться. Для вашей ситуации советую рассмотреть IndexedDB.

Answer 3

[szanislo]

Посмотрите в сторону Hazelcast или redis

Answer 4

[Robur]

Если данных мало - то можно в локалсторадж, если много - кешируйте на уровне HTTP, пусть браузер разбирается.
Сервер знает когда данные поменялись и может сигнализировать браузеру через etag например

Comments

[Fdrsmrdv]

Спасибо за ответ! А мало записей, это до 5мб?

[Robur]

Fdrsmrdv, мало записей - это вы решаете сами по вашим задачам.
Очевидно что они должны туда как минимум влезать, но localstorage может быть ограничен а может быть и нет, (раньше такое было, давно не проверял) и кроме этих данных там еще могут и другие данные лежать.
Можно сделать проще - так как это кеш, то класть туда пока место не закончится, а как закончится, удалять.
А потом посмотреть в реальной работе - будет ли этого достаточно или нет.
При этом вам надо будет сделать какую-то надстройку для работы с localstorage чтобы использовать ее везде, и эта логика всегда применялась.