Как решить проблему с конкуренцией запросов на чтение в PHP?

Question

[Relapse]

На страницу сайта одновременное заходит большое количество людей.
На этой же странице есть, к примеру, учет посещений:

$mysql = mysql_fetch_array(mysql_query(селект));

mysql_query("UPDATE `page` SET `views` = `views` + '1' WHERE `status` = 'on' AND `id` = '1';");

// если превышен лимит просмотров страницы
if ($mysql['views'] >= 10) 
{
    mysql_query("UPDATE `page` SET `status` = 'off' WHERE `id` = '1';"); // выключаем доступность страницы

    echo 'Исчерпан лимит просмотров';
}

При малом количестве пользователей, открывших эту страницу, проблемы не возникает и при 10 просмотрах страница переходит в статус off.
Но если на страницу зайдут 100, 500 человек и более, то условие срабатывает запоздало и страница может перейти в статус off, к примеру, после 15 просмотров, а то и больше, хотя в условии строго задано 10.

Как с этим бороться?

Answer 1

[FanatPHP]

Для начала, вопрос получает приз за самый нерелевантный заголовок. Конечно же, дело в скорости работы условных операторов в РНР.

А тебе нужна блокировка на чтение

START TRANSACTION;
SELECT views FROM page where id=1 FOR UPDATE;

Заблокирует тебе строку на чтение и запись. Дальше можешь ее апдейтить и коммитить. После этого следующий, кто успеет схватить блокировку, заставить остальных ждать. И так далее.

Господь, жги.
Эту толпу обезьян уже не спасти.

Comments

[Relapse]

Правильно ли я понимаю, что это для InnoDB? У меня таблица MyISAM.

Наверное стоит уточнить конкретно, а не на примере.

Дело происходит в цикле.

$q = mysql_query("SELECT * FROM `table` WHERE `status` = 'on';");

while ($abc = mysql_fetch_assoc($q))
{
mysql_query("UPDATE `table` SET `views` = `views` + '1' WHERE `id` = '".$abc['id']."';");

if ($abc['views'] >= $abc['limit'])
{
mysql_query("UPDATE `table` SET `status` = 'off' WHERE `id` = '".$abc['id']."';");
}
}

[FanatPHP]

а зачем в цикле-то?

[Relapse]

Потому что выводятся элементы из таблицы. И некоторые элементы, у которых достигнут лимит просмотров, должны выключаться, т.е. перестать выводиться.

[FanatPHP]

ад

[Relapse]

FanatPHP: реализация - возможно, но задачу бы нужно решить.

[FanatPHP]

как ее решить, я тебе написал. но твой цикл в совершенно левом скрипте - это ад.

[Relapse]

Почему в левом? Мне нужно вывести результаты из таблицы. У каждого результата есть свой лимит просмотров. Когда достигается этот лимит для конкретного резуьтата - результат нужно перевести в off. Отмечу, что лимиты просмотров не хранятся в БД в естественном виде, а рассчитываются.

Правильно ли я понимаю, что ваше решение для InnoDB? У меня база MyISAM. Переделывать все на InnoDB или есть иные способы решения проблемы?

[FanatPHP]

нет, нету

[Вячеслав Барсуков]

FanatPHP: адовый ответ.
Один блочится а остальные ждут. Так держать.

[Roman Domrachev]

Вячеслав Барсуков: потому что именно это единственный вариант не показать лишнего

[AxisPod]

Использовать транзакции для данной задачи? Мсье знает толк. Правильно, блокируем всё, а мир подождет. Да и для такой задачи использовать InnoDB тоже прекрасное решение, памяти у серверов много, надо занять всю. Вы случайно на каких-нить курсах типа Оракла не учились, эти ребята хорошо так учат, лишь бы побольше лицензий покупали, всё сделают для того, чтобы всё тормозило.

[Roman Domrachev]

AxisPod: ещё раз: «блокируем всё, а мир подождет» — решение проблемы из топика. Причём тут innodb? Это детали реализации, можно хоть на локах ОС всё сделать, главное в один поток свести участок с получением/инкрементом данных. Причём тут вообще оракл и «тормоза»? Не нравится Innodb, можно сделать redis.io/commands/GETSET, что будет ровно то же самое о чём я говорил, но закрытое слоем абстракции от Redis. Или по вашему там внутри черная магия и операции сами становятся атомарными и однопоточными?

Answer 2

[Roman Domrachev]

Никак. Вы думаете о параллельной среде как об однопоточной. Можете принудительно пускать юзверей в один поток, тогда такой проблемы не возникнет.

Иначе алгоритм выглядит так:

Те пользователи что зашли и получили данные в промежутке пока «десятый» получил данные и закрыл страницу, тоже дойдут до конца и сохранят свои данные.

Чтобы пустить пользователей в один поток на запись, можете лочить таблицу между получением данных и записью инкремента, или использовать кэш для счётчиков, там это всё будет быстрее, но суть та же — дождаться пока один пользователь завершит сессию прежде чем пускать другого.

Comments

[Relapse]

Что подразумеваете под кэшем для счетчиков?

[Roman Domrachev]

Relapse: хранить счётчики можно в memcache, redis, там есть функционал блокировок. Итоговая схема должна быть такой: monosnap.com/image/TgCj3fyff2hD9NkbePz4izulYB04Lg
И не важно список там, или нет. Главное как можно быстрее пройти участок с блокировкой.

[Relapse]

Roman Domrachev: подскажите по redis, если несложно.

Cначала должен идти подсчет просмотров:
$redis->incr("page1");

Затем сравнение
if ($redis->get("page1") >= 10) mysql_query(UPDATE... выключаем доступность страницы);

Верно?

[Roman Domrachev]

Relapse: нет, делайте getset. Вам нужно атомарный инкремент+получение. Разбивание на uncr + get ничем не отличается от двух mysql запросов.

[Relapse]

Roman Domrachev: правильно понял вас?

$a = $redis->get('page1') + 1;

$redis->getset("page1", $a);

if ($redis->get("page1") >= 10) mysql_query(UPDATE... выключаем доступность страницы);

[Roman Domrachev]

Relapse:
$a = $redis->incr('page1');

if ($a >= 10) mysql_query(UPDATE... выключаем доступность страницы);

[Roman Domrachev]

Relapse: Но это всё равно не идеал. В идеале, нужно делать лок до апдейта, или сводить «доступность» только к одному параметру в кэше. В идеале всё должно делаться одним атомарным обменом данными. https://github.com/ronnylt/redlock-php вот что-то.

Answer 3

[Оптимус Пьян]

А можно задать вопрос: что даст ограничение? Ведь сайт создан что бы на него заходили люди. И если на него хотят зайти 100500 человек одновременно это же прекрасно! Зачем их ограничивать?

Comments

[Relapse]

Это всего лишь пример.

Answer 4

[AxisPod]

И откуда берется $mysql из воздуха?

Comments

[Relapse]

Дополнил код.

[AxisPod]

Проблема в неатомарности операций. Вы берете значение из бд, затем апдейтите, в итоге если очень активно стучаться, то одновременно может запустится множество инстансов скрипта, все сначала возьмут значение с бд, предположим 2, а затем это множество (к примеру 15) изменят значения в бд, но при этом в переменной будет у всех 2 и ни один не выключит страницу.

Как минимум первый update и select надо поменять местами.

[FanatPHP]

Зачем было писать идиотский коммент про $mysql?

[AxisPod]

FanatPHP: Наверное для того, что в данном случае это важно.

[FanatPHP]

Правда? И для чего же?

[AxisPod]

FanatPHP: Как я погляжу, заняться-то вам больше нечем, флудить в тостере самое оно?

Answer 5

[Григорий]

У вас таблица page в каком формате? InnoDB или MyISAM?

Comments

[Relapse]

MyISAM.

[Григорий]

Relapse: habrahabr.ru/post/46542
При неявной блокировке уровень блокировки зависит от типа хранилища данных: для MyISAM, MEMORY и MERGE блокируется вся таблица, для InnoDB — только используемые в выражении строки (в случае, если набор этих строк может быть однозначно определен значениями первичного ключа — иначе, блокируется вся таблица)

[Григорий]

Relapse: Если использование блокировки с помощью MySQL не принципиально, хранить количество открытий можно в Redis или Memcached

Answer 6

[Billy Milligan]

А почему не сделать через сессию?

if($_SESSION["count"] > 9) {
    echo "пошёл вон от сюда";
    exit;
}

$_SESSION["count"]++;

или если хотите с БД через глобалс?

$result = mysql_query("SELECT `status` FROM `page` WHERE `id` = '1';");

if($result['status'] == "off") {
    echo "пошёл вон от сюда";
    exit;
} else if($GLOBALS["count"] > 9) {
    mysql_query("UPDATE `page` SET `status` = 'off' WHERE `id` = '1';");
    unset($GLOBALS["count"]);
    echo "пошёл вон от сюда";
    exit;
}

$GLOBALS["count"]++;

Comments

[Billy Milligan]

Василий: я и думал что каждому можно по 10 раз =)
тогда через $GLOBALS

[FanatPHP]

о, неграмотная сотня подтянулась

[Oleg]

1. сессия - у каждого своя
2. глобалс - это вообще что у вас ?. где хранится ?
Да и где бы не хранилось, какую бы магию вы не использовали - всё равно, не защищает от двух одновремённых запросов.

[FanatPHP]

Oleg: бесполезно. Этот пациент неизлечим. Тут таких много бегает, не стоит тратить на них время.

[Oleg]

FanatPHP: Это больше для тех. кто захочет воспользоваться данным ответом, чтобы не пользовались :)

[FanatPHP]

Oleg: лучше нажать три точки под ответом и там выбрать "пожаловаться". модераторы тут ленивые, но если пинать регулярно, то толк может выйти

[Billy Milligan]

FanatPHP: Из вопроса подумал что нужно каждому пользователю ограничить количество просмотров до 10. А вы не забывайте что когда то тоже были в числе неграмотной сотни обезьян, так что кислотой поливайте в другом месте. Вы льёте в каждом своем комментарии, может у вас какие проблемы? Кризис средних лет или ещё что то?

[FanatPHP]

а про $GLOBALS какую отмазку придумаешь?

[Billy Milligan]

FanatPHP: А глобалс для того что бы ограничить общий просмотр страницы до 10.

[FanatPHP]

Billy Milligan: у тебя неверные представления как о переменной $GLOBALS, так и о том, как работает РНР в целом. Даже на самом базовом уровне. поэтому тебе надо воздержаться от напиания ответов.

[Billy Milligan]

FanatPHP: Мы с Вами на "ты" не переходили. У Вас отсутствует представление об общении с людьми с уважением, я же не говорю что Вам вообще не нужно писать. Надеюсь в жизни Вы так не общаетесь. По поводу глупых ответов, предлагаете получать опыт и знания в вакууме? Сравнил бы тостер и подобные сайты с школой или университетом, запретили бы вы дискутировать ученикам между собой говоря "не смейте даже думать о решении примера, если точно не знаете ответ. Здесь есть я, у меня есть образование в этой области и ответы с примерами могу давать только я"? Вот если бы я не написал свой не корректный ответ, может быть и не узнал что он не правильный. Видите! Теперь знаю. Не повыпендривайтесь, а лучше блесните знаниями и укажите что не так и почему так нельзя делать. А то все горазды писать "я тут один гомо сапиенс, а вы все обезьяны". Может тогда у меня к Вам появится уважение как к личности. А если вы боитесь что мой ответ будут использовать, то обоснуйте почему так нельзя и покажите как надо, КПД у Вас будет ещё больше.

[Billy Milligan]

FanatPHP: Отвечать мне больше не нужно, Вы вызываете у меня отвращение. Поработайте над своей коммуникабельностью.

[FanatPHP]

Мне не нужно твое уважение и твои советы. мне нужно только чтобы ты перестал писать ответы на этом сайте.

[Billy Milligan]

FanatPHP: Да мне плевать чего Вы там хотите или что Вам нужно XD

[FanatPHP]

значит будешь обтекать каждый раз

[FanatPHP]

Впрочем, у меня к тебе предложение. Не пиши ответ из головы. Попробуй сначала сам решить задачу своим способом. Если получилось - пиши ответ. Не получилось - задай вопрос, почему твой способ не работает. Так и сайт будет чище, и ты получишь то самое объяснение, которое хотел.

Answer 7

[Oleg]

mysql_query("UPDATE `page` SET `views` = `views` + '1',status=IF(views>=10,'off','on') WHERE `status` = 'on' AND `id` = '1' and views < 10);

$changed= mysql_affected_rows();

if($changed){
// пускаем 
}else{
mysql_query("UPDATE `page` SET `views` = `views` + '1'  WHERE `status` = 'on' AND `id` = '1');
// закрыто
}

Т.е. основная идея:
1. обновляем счётчик , но только если мы можем увидеть страницу
2. сразу же проверяем, сработал ли апдейт. Если сработал- то ок, если не сработал, то значит:
1. заход не подсчитан, надо добавить счётчик.

Если вам не нужно считать тех кто не зашёл - то не добавляйте второй апдейт.