Как сделать очередь задача на MySQL?

Question

[miki131]

В базе появляются новые задачи.
Несколько воркеров раз в секунду проверяют наличие новых задач и начинают обрабатывать.
Как сделать чтобы два воркера не взяли одну и ту же задачу?
Точнее, какие блокировки MySQL ставить когда воркер делает селект?

P.S. Про вариант с RabbitMQ знаю, но хотелось бы обойтись без него.

Answer 1

[Anton B]

1. Сделайте в таблице поле proccess типа double по умолчанию 0.
2. В PHP скрипте сделайте $process_id = microtime(TRUE) + getmypid(); чтобы получить уникальный для каждого вызова скрипта идентификатор процесса.
3. UPDATE `task` SET `process` = $process_id WHERE `process` = 0 LIMIT 1
4. SELECT * FROM `task` WHERE `process` = $process_id
Таким образом вы добьетесь того, чтобы запускаемые параллельно на обработку скрипты не брали одни данные для обработку.

Answer 2

[Rsa97]

Если по одной задаче, то

UPDATE `tasks` 
    SET @id := `id`, `state` = 'in_work', 
        `work_start_time` = NOW(), `worker` = :pid
    WHERE `state` = 'wait'
    ORDER BY `create_time`
    LIMIT 1;
SELECT * FROM `tasks` WHERE `id` = @id;

По окончании обработки

UPDATE `tasks` SET `state` = 'done' WHERE `id` = @id;

Периодически проверять на наличие слишком долго обрабатываемых задач, прибивать процесс по pid и сбрасывать `state` задачи.

P.S. Конечно же, @id := `id`

Answer 3

[Владимир Мартьянов]

LOCK TABLES на момент выбора и назначения воркера - вполне рабочий вариант.

Comments

[miki131]

Менеджера нет, воркеры сами проверяют таблицу и кто первый увидит задачу тот и пометит ее.
И это не помешает делать INSERT ?

[Владимир Мартьянов]

miki131: INSERT не знаю, не сталкивался. Даже если помешает - задержка будет очень небольшой.