Как заблокировать чтение файла другими копиями скрипта на время чтения текущей копией?

Question

[PO6OT]

Как сделать блокировку на чтение файла в php во время чтения?
В разделяемой блокировке меня смущает слово "разделяемая".

Я делаю watchdog для демона на php.
Демон - это обычный бесконечный цикл с отключенным тайм-аутом.
Watchdog запускается при каждом запросе index.php пользователем.
daemon.php каждые 2 минуты записывает в файл daemon.active значение date('Ymdhi').
А index.php проверяет значение daemon.active
таким выражением

(file_get_contents('./daemon.active')+3)<date('Ymdhi')

и выполняет
ping('http://'.$host.'/daemon.php'), если выражение верно.
В htaccess запрещен доступ к daemon.php со всех IP, кроме localhost, чтоб избежать одновременного исполнения двух и более демонов.
Как сделать блокировку на чтение файла daemon.active, пока его читает index.php, чтоб daemon.php не вызвался несколько раз, если index.php запустится одновременно несколько раз.

Answer 1

[Леша Киселев]

flock
php.net/manual/ru/function.flock.php

Comments

[PO6OT]

нет, вы объясните что с ним делать

[PO6OT]

разве с помощью flock можно сделать эксклюзивную блокировку на чтение?

[Леша Киселев]

Вадим Егоров: В документации все описано.
"PHP поддерживает портируемый способ консультативной блокировки (adviosory locking) полностью всего файла (что означает, что все программы, осуществляющие доступ к файлу, должны использовать один и тот же способ блокировки, иначе блокировка не будет работать). По умолчанию, данная функция будет ждать получения блокировки; это поведение можно изменить с помощью описанного ниже параметра LOCK_NB."

$fp = fopen("/tmp/lock.txt", "r+");

if (flock($fp, LOCK_EX)) { // выполняем эксклюзивную блокировку
    ftruncate($fp, 0); // очищаем файл
    fwrite($fp, "Что-нибудь пишем сюда\n");
    fflush($fp);        // очищаем вывод перед отменой блокировки
    flock($fp, LOCK_UN); // отпираем файл
} else {
    echo "Не удалось получить блокировку !";
}

fclose($fp);

[Леша Киселев]

Вадим Егоров: для flock нет никакой разницы, на чтение или на запись. Устанавливается блокировка на файл.
Вызов flock($fp, LOCK_EX) не вернет истину, если блокировка установлена. Соответственно, Вам нужно читать из файла, когда процессу удалось произвести блокировку файла. Это означает, что в данный момент он свободен.

[PO6OT]

Леша Киселев: я пытался делать так:

index.php (на белом сервере; вызывает пользователь)

<?php

function ping($host, $action=false){
$http=@fsockopen($host, 80, $errno, $errstr, 1);
if($http){
fwrite($http, "GET /".$action." HTTP/1.0\r\nAccept: */*\r\nHost: ".$host."\r\n\r\n");
fclose($http);
return true;
}else{
return false;
}
}

$host=$_SERVER[HTTP_HOST];
$id=uniqid();

//write a query
file_put_contents('./id/'.$id, json_encode($_GET));
file_put_contents('./taskss.list', $id."\n", LOCK_EX');

//watchdog for daemon
$f=fopen('./daemon.active');
flock($f, LOCK_SH);
// timeout 3 min
if((file_get_contents($f)+3)<date('Ymdhi')){
ping('http://'.$host.'/daemon.php');
sleep(1);
}
flock($f, LOCK_UN);
fclose($f);

//waiting for answer
while(true){
sleep(1);
$answer=file_get_contents('./answer/'.$id);
if($answer){
echo $answer;
break;
}
}

[PO6OT]

Леша Киселев: а я думал что flock делает sleep, пока не разблокируется требуемый файл
оказывается ничего он не ждет, а просто выдает ошибку

[Леша Киселев]

Вадим Егоров:
"оказывается ничего он не ждет, а просто выдает ошибку"

Из доки:
"Также возможно добавить константу LOCK_NB в качестве битовой маски к любой из вышеуказанных операций, если вы не хотите ждать пока flock() получит блокировку."

[PO6OT]

Леша Киселев:
разве это ничего не значит
LOCK_SH для получения разделяемой блокировки (чтение).
LOCK_EX для получения эксклюзивной блокировки (запись).

[PO6OT]

Леша Киселев: что за бред??
вообще обьясняли что такое flock рукожопы какие-то
масло масленое

wouldblock
Необязательный третий параметр будет установлен в 1, если блокировка будет блокирующей (код ошибки EWOULDBLOCK). (не поддерживается на Windows)

[Леша Киселев]

Вадим Егоров: Да, сорян, проглядел. Очевидно, что вы хотите сделать эксклюзивную блокировку, что бы другой процесс не смог записать данные в файл. Соответсвенно, нужно блокировать файл на запись!

//watchdog for daemon
$f = fopen('./daemon.active', 'rb');
if (flock($f, LOCK_EX | LOCK_NB)) {
    $row = (int) fgets($f);

    // timeout 3 min
    if(($row + 3) < date('Ymdhi')){
        ping('http://' . $host . '/daemon.php');
        sleep(1);
    }

    flock($f, LOCK_UN);
}
fclose($f);

[Леша Киселев]

Вадим Егоров:
Другой процесс перед записью, должен попытаться поставить точно такую же блокировку!
flock($f, LOCK_EX | LOCK_NB);

[Леша Киселев]

Вадим Егоров:
"LOCK_NB чтобы не ждать, пока будет получена блокировка (не поддерживается в Windows)." Внимание на инфу по винде.

И да, файл стоит открывать с режимом "rw+", т.к.
"Из-за того, что функции flock() необходим указатель на файл, вам может понадобиться воспользоваться специальным запирающим файлом для того, чтобы ограничить доступ к файлу, который вы намерены очищать, путём его открытия в режиме записи (используя "w" или "w+" в качестве аргумента функции fopen())."

[PO6OT]

Леша Киселев: Защищать от записи daemon.active не нужно вообще и даже нельзя.
Мне нужно чтоб при многократном одновременном вызове index.php, daemon.php вызывался только один раз, что бы ни случилось.
При каждой итерации бесконечного цикла, который происходит в daemon.php в daemon.active записывается текущее значение date('Ymdhi').

index.php сравнивает daemon.active с текущей датой. Если слишком большая разница, daemon вызывается.

Если не использовать блокировку на чтение, то daemon.php может не успеть записать daemon.active и другая копия index.php запустит ещё одну копию daemon.php, чего нельзя допустить

Если использовать блокировку на чтение, то одна копия заблокирует daemon.active и сравнит даты в daemon.active и текущую и если разница слишком большая, то запустит daemon.php, подождет секунду, чтоб он точно успел обновить daemon.active и только тогда разблокирует чтение.
А вторая копия index.php будет ждать, пока daemon.active разблокируется.

[PO6OT]

то есть daemon.php может прекратить работу, а его нужно восстанавливать, но может произойти одновременно несколько запросов, которые включат несколько циклов одновременно, что вызовет перегрузку сервера

[PO6OT]

Леша Киселев: скажу проще. мне нужно заблокировать чтение, но разрешить запись

[PO6OT]

Леша Киселев: ладно, можно не разрешать запись, я придумал как обойтись. но заблокировать чтение надо

[Леша Киселев]

Вадим Егоров:
Вадим Егоров: в данном случае, нужна тогда не блокировка файла, а очередь задач.
Представим есть очередь с именем "Q".
demon.php делает свою работу с файлом, затем кладет в очередь "Q" задачу.
index.php при запуске, читает последний элемент очереди и если он существует, запускает свою работу, удалив из очереди этот элемент. Если одновременно запустится несколько копий index.php, то задача будет выполнена только 1 раз, т.к. в очереди она была одна.

Теперь тебе нужно написать функционал очереди. В этом как раз помогут локи на файл. Клади задачи в файл "queue.jobs", перед изменением обязательно блокируй файл.

Алгоритм работы будет примерно такой:

// читаем из файла задачу (без блокировки)
$f = fopen('./queue.jobs', 'rb');
$job = fgets($f);
fclose($f);

if ($job) {
    $f = fopen('./queue.jobs', 'rb');

    // Пытаемся залочить файл
    $retries = 1000; // кол-во попыток на открытие файла
    do {
        if ($retries > 0) {
            usleep(rand(1, 10000));
        }
    } while (--$retries > 0 && !flock($f, LOCK_EX));

    if ($retries <= 0) {
        echo "Can not lock file", PHP_EOL;
        exit(0);
    }

     // Тут внимание! Читаем еще раз задачу и проверяем
    $job = fgets($f);

    if ($job) {
        // Тут выполняем свою работу
        echo "Job: ", $job, PHP_EOL;

        // Обновим файлик с задачами (запишем все без верхней строки)
        $rows = [];
        while ($row = fgets($f)) {
            $rows[] = $row;
        }
        file_put_contents('./queue.jobs', implode(PHP_EOL, $rows));
    }

    flock($f, LOCK_UN);
    fclose($f);
}

[Леша Киселев]

Код написал абстрактный, что бы видел был только алгоритм. Не советую такое использовать в продакшене.

[PO6OT]

Леша Киселев: Я решил сделать проще. вы только скажите, сработает ли это?
daemon.php поставит один раз LOCK_EX на файл daemon.active и если он прекратит работу, блокировка снимется
index.php запросит LOCK_EX | LOCK_NB на daemon.active и если получит true, то поймет, что daemon.php не работает и запустит его, затем daemon.php будет ждать разблокировки, и затем index.php разблокирует daemon.active.
А другая копия index.php не запустит ещё одну копию daemon.php так как блокировка уже получена первой копией index.php либо daemon.php

Всё очень просто.

[PO6OT]

то есть так:

index.php (на белом сервере; вызывает пользователь)

<?php

set_time_limit(10);

function ping($host, $action=false){
$http=@fsockopen($host, 80, $errno, $errstr, 1);
if($http){
fwrite($http, "GET /".$action." HTTP/1.0\r\nAccept: */*\r\nHost: ".$host."\r\n\r\n");
fclose($http);
return true;
}else{
return false;
}
}

$host=$_SERVER[HTTP_HOST];
$id=uniqid();

//write a query
file_put_contents('./id/'.$id, json_encode($_GET));
file_put_contents('./tasks.list', $id."\n", LOCK_EX');

//watchdog for daemon
$f=fopen('./daemon.active');
if(flock($f, LOCK_EX|LOCK_NB)){
ping('http://'.$host.'/daemon.php');
usleep(25000);
}
flock($f, LOCK_UN);
fclose($f);

//waiting for answer
$i=0;
while(true){
usleep(25000);
$answer=file_get_contents('./answer/'.$id);
if($answer){
echo $answer;
break;
}elseif($i>20){ //5 sec
echo 'Error. Timed out.';
break;
}
$i++;
}

daemon.php (на белом сервере; демон, отправляющий запросы пользователя)

<?php

set_time_limit(0);

$f=fopen('./daemon.active');
flock($f, LOCK_EX);

while(true){
usleep(25000);
//некоторый код
}

[Леша Киселев]

Вадим Егоров: Если вы пишете под свое окружение и точно уверены, что локи будут работать как описано, почему нет.
Вот в этой теме описано, что локи могут работать не так, как ожидается: Вопрос по flock в php

[PO6OT]

Леша Киселев: пожалуйста, пересмотрите эти куски
index:

...
//watchdog for daemon
$f=fopen('./daemon.active');
if(flock($f, LOCK_EX|LOCK_NB)){
ping('http://'.$host.'/daemon.php');
usleep(25000);
}
flock($f, LOCK_UN);
fclose($f);
...

daemon:

...
$f=fopen('./daemon.active');
flock($f, LOCK_EX);
...

[PO6OT]

Леша Киселев: уже смотрю ссылку

[Леша Киселев]

Вадим Егоров: "А суть там по-моему в том, что flock где-то может работать на уровне процесса, а не ядра/фс, то есть несколько потоков в одном процессе она разрулит, а вот то что другой процесс тоже файл залочил и не узнает. Дедлока не будет, а два процесса в файл писать будут."

[PO6OT]

Леша Киселев: а зачем же тогда вообще делали flock если она такая дырявая

[PO6OT]

Леша Киселев: А вообще раз в год и палка стреляет. Если daemon в течение 2 часов 1 раз в месяц будет работать в 2 процесса, не страшно, тем более одновременный запуск нескольких копий index.php тоже редкое явление из-за малой посещаемости сайта

[PO6OT]

Леша Киселев: готово. теперь пишу код, вместо "//некоторый код" в daemon.php. Вы можете присоединиться к другим обсуждениям по этой теме: Как создать постоянное подключение для туннелирования с помощью php?