Как кешировать однотипные MYSQL UPDATE?

Question

[dzoid]

Есть база новостей, все селекты кешируются но когда пользователь заходит на страницу новости - делается
UPDATE `news` SET `views`=`views`+1
Эти запросы создают нагрузку на сервер - как их можно кешировать\оптимизировать?
PHP + MYSQL

Answer 1

[Oleg Shevelev]

Накапливайте в памяти. Вы не указали язык программирования на котором такая задача.

PHP - можно сделать in-memory таблицу в MySQL и делать туда всё теже UPDATE `news` SET `views`=`views`+1, раз в N минут обновлять основную таблицу данными из in-memory (добавлением, а не заменой значения, иначе при рестарте сервера при очередном обновлении потеряются часть показателей)
Golang - хранить количество просмотров в памяти с RWMutex защитой, раз в N минут сохранять все накопленные изменения в MySQL базу

Так же можно использовать Memcache, shared memory, любые другие базы данных, исходя из:

• языка программирования
  
• доступного инструментария
  

Так же можно вынести views поле в отдельную таблицу или даже на другой MySQL сервер:

• либо отдельно views
  
• либо сделать копию таблицы news
  

При этом можно добавить очередь (RedisMQ или что-либо другое) для асинхронного увеличения news.views, принцип следующий:

• пользователь запросил страницу - сделалось SELECT
  
• сделали задание в очередь на обновление статистики
  
• пользователь получил страницу
  
• через какое-то время задание по обновлению количества просмотров выполнилось и пользователь ничего не ждал
  

Comments

[dzoid]

PHP, in-memory я так понимаю аналогично memcache? тогда не будет ли виснуть сервер когда вдруг 10000 записей начнут UPDATE из in-memory в обычную таблицу? Или другого решения все равно не найти?

[Oleg Shevelev]

dzoid: суть агрегации данных в памяти в следующем:

• оперативка очень быстрая
  
• данные суммируются за какой-то период в быстрой оперативке
  
• отдельным процессом раз в N минут выгружается не 100 000 UPDATE по каждой новости, а только 1 на каждую новость
  

Рассчитать можно так:

• было 200 новостей за 10 минут, по каждой пришло 100 000 просмотров, 200 * 100 000 = 20 000 000 Update
  
• стало 200 новостей за 10 минут, по каждой пришло 100 000 просмотров, в памяти 200 * 100 000 = 20 000 000 складываний (прирощений переменной), при этом число укладывается в int (int64) и новой памяти не выделяется, всего 200 переменных. в базу = 200 Update, по одному на новость.
  • 
    
    in-memory в PHP - это вообще любое решение которое хранит в памяти, но с memcache надо учитывать что это отдельный сервис со своими правилами и говоря про in-memory в PHP я имею в виду библиотеки для работы с оперативной памятью между перезапусками скрипта (shared memory) с доступом внутри PHP непосредственно. Тут можете выбрать любое решение где можно атомарно увеличивать число просмотров.
  
  

[dzoid]

Oleg Shevelev: спасибо Вам, я сейчас поужинаю, налью стакан и буду разбираться в написанном т.к. слёту вникнуть и разобраться не получилось.

Answer 2

[shagguboy]

1) Handler Socket
2) Memcached Plugin

Comments

[dzoid]

1е решение как то слишком трудно на текущем этапе проекта
2е - делать апдейт по крону как то не очень)