Стоит ли делать кэширование результата запроса из бд?

Question

[Maxim Maxim]

Приложение - чат-бот, модератор групп. При каждом апдейте от соц. сети я проверяю пользователя на существование в базе данных и если его нет, то я добавляю сведения о нём. Во избежание абьюза со стороны клиентов есть защита от спама запросами, но всё же мне кажется не самая лучшая идея после каждого сообщения проверять человека на наличие в базе данных. Вот я и подумал, стоит ли делать кэширование списка пользователей? Документация языка: "Caching works best with data that changes infrequently and is expensive to generate." Это меня и смутило) Мой список меняется часто (будем считать что в будущем бот будет популярен) и данные сгенерировать очень легко. Поэтому я не знаю, как тут поступить? Оставить как есть или добавить кэширование?

Answer 1

[rPman]

Подумай хорошенько, где ты собираешься кешировать и как инвалидировать кеш (проверять что данные в кеше устарели), получишь ответ на этот вопрос почти сразу

Второй вопрос очень важный, как запускается код бота, в режиме получил запрос (реакция от пользователя) и завершил процесс либо процесс запускается как сервис и работает в единственном экземпляре (тоже важно, так как бывает что то типа кластера, но явно не твой случай)?

Дело в том что если твой бот как приложение, которое не завершает свою работу и единственное, кто обрабатывает реакцию пользователей, ему база данных на время его работы не нужна в принципе, все можно хранить в оперативной памяти нативно без прослойки, невероятно быстрой и эффективной. Но, так как сервера не надежны, приложения падают и т.п., данные все же хочется куда то писать, и вариант хранения данных в оперативной памяти дублируют (все изменения) в базе данных, и считываются в момент запуска.

Ну и если продолжать, вариант хранения всего в оперативной памяти может быть накладно если данных ну очень много (гигабайты.. сотни), с другой стороны у тебя бот, маловероятно что твоя клиентская база не поместится в сотню другую мегабайт.

Вот от сюда и думай, что хранить, где хранить надо ли делать запрос в базу или можно из памяти и т.п.

Comments

[Maxim Maxim]

Огромное спасибо за большой ответ! Для каждого запроса создается отдельный процесс и после его выполнения процесс умирает. Как я понял из ответа, было бы хорошей идеей поставить прослойку в виде Redis между Postgres и приложением. Касаемо того, как кэшировать, я думаю, что можно поставить, что срок действия каждой записи кэша истекает через 30 минут и также срок действия записи кэша может истечь, если к ней не обращались в течение 5 минут, то есть раньше чем 1 параметр (эти параметры стоят в пакете для Redis). Вполне вероятно, что инвалидация по времени не самая лучшая идея, но в данном случае минусов пока не вижу

[rPman]

можно, но я считаю не нужно
база данных, типовая, на среднем железе, способна обрабатывать сотни запросов в секунду, при должном тюнинге - тысячи

у тебя будет больше?

у тебя немного неверное представление инвалидации данных... кеш это предположение что данные не изменились, гадать типа - ну 30 минут данные не будут меняться странно, а если изменятся? а ты считаешь что не изменились?