Как оптимизировать UPDATE + 1?

Question

[alexkst]

Для сбора статистики просмотров сейчас используется конструкция UPDATE + 1.
Однако, в последнее время, эта операция работает слишком медленно и нужно ее как-то оптимизировать.

Первое, что пришло в голову, это хранить данные в memcached и записывать в бд сразу UPDATE + 100..
Есть ли еще какие-либо решения для высоконагруженных проектов?

Comments

[FanatPHP]

сколько в таблице записей, как долго идет запись, как часть происходит запись?

Answer 1

[grisha2217]

insert delayed into tmp_table
По крону брать все записи из временной таблицы, считать количество записей и делать апдейт счетчика

Почему это быстрее?
Вставка строчки не блокирует твою запись в таблице. Вызов апдейта будет лишь по крону. Такое решение есть в XenForo

Comments

[alexkst]

Ваше решение мне подходит больше всего

[FanatPHP]

Почему это быстрее?
Вставка строчки не блокирует твою запись в таблице.

Садись, два

[grisha2217]

FanatPHP, новая запись в другой таблице не будет блокировать запись в другой таблице. Так понятнее?

[FanatPHP]

а с чего ты решил что эта атомарная блокировка одной записи хоть что-то тормозит? и является причиной, по которой наш герой решил заняться преждевременной оптимизацией?

[grisha2217]

FanatPHP, я знаю как реализовано обновление счётчиков на движке Xenforo, никто не обновляет счетчики на лету. Поэтому логично, что проблема в апдейте. При апдейте строка блокируется и все остальные потоки, работающие с этой строкой (в том числе и select, update)

Теперь представь ситуацию, когда тысяча человек заходит на одну страницу одновременно)

[FanatPHP]

никто не обновляет счетчики на лету. Поэтому логично, что проблема в апдейте.

прекрасная логика :)
про неё даже анекдот есть

Один исследователь решил узнать, где у таракана уши.
Поймал таракана, посадил на стол, постучал по столешнице - таракан услышал и убежал.
Поймал снова, оторвал ноги, постучал - таракан никуда не бежит. Значит, не слышит.
Вывод - у таракана уши в ногах.

Ну то есть в целом понятно, что для тебя все эти операции сливаются в одну - обновление, блокировка, счетчик. Раз зенфоро не обновляет - значит проблема в блокировках. Раз не убегает - значит уши в ногах :)

А на самом деле достаточно всего лишь убрать с поля со счетчиком индекс, и всё залетает

[grisha2217]

FanatPHP, а если мне индекс нужен?

[FanatPHP]

во-первых, зачем индекс на поле, которое все равно обновляется дискретно, то есть заведомо не дает актуальной информации?

[grisha2217]

FanatPHP, «топ просматриваемых статей». Вообще, приведи пример твоей идеи из какого-нибудь движка. Посмотрим.

Answer 2

[Ромзес Панагиотис]

Прямо таки, узкое место именно в Memcached? У вас точно не из-за блокировок в коде задержка?
Сколько процессов или потоков может обновить значение счетчика?

Вообще, для увеличения счетчика используют incr.

Добавлено
Так вы используете еще и MySQL (только прочел в тегах). Ну да, можно использовать Memcached как счетчик. Но минус в том, что при рестарте данные пропадут. Так что можете взять Redis и делать то же самое.

Добавлено
Если вас интересует техника сохранения данных в Redis с минимизацией потерь, то есть статья
https://softwareengineering.stackexchange.com/ques...
Если же есть больше предпочтение работы с MySQL, то можно настроить репликацию так, что для записи счетчиков будет использоваться записью в мастер, а чтение счетчиков с реплики.
Плюс еще статья https://www.percona.com/blog/2007/07/01/implementi...

Comments

[FanatPHP]

а из редиса типа не пропадут, ха-ха

[Ромзес Панагиотис]

FanatPHP, тоже пропадут, если хранить там, если использовать как основное хранилище.

[ThunderCat]

Ромзес Панагиотис, то есть можете не брать редис, и будет то же самое )))

[Ромзес Панагиотис]

ThunderCat, везде есть свои риски и компромиссы.

[Ромзес Панагиотис]

Если перезапустить Redis, то будут устаревшие данные с последнего снэпшота.

[ThunderCat]

Ромзес Панагиотис,

Если перезапустить Redis, то будут устаревшие данные с последнего снэпшота.

Если заменить "Redis" на "Memcached" в этой фразе, что поменяется???