Выполнение задачи на php в фоне?

Question

[Georg]

Добрый день. Есть следующая ситуация:

Клиенты отправляют на api (php) некие данные. Надо чтобы api сразу вернуло что данные приняты и после ответа начало их обработку, чтобы клиент не ждал выполнения обработки. Как это сделать?

Answer 1

[Stdit]

Классический приём: данные сразу после принятия пишутся в сыром виде куда-то, например в специальную таблицу вида «дата»+«пользователь»+«сериализованные данные». А потом, каждые N минут, cron ходит в эту таблцу, берёт записи и обрабатывает их.

Comments

[kuzemchik]

Тоже думаю что cron + таблица решат вашу задачу лучше чем хаки по поводу многопоточности в php.

[charon]

Stdit истину глаголет, мы именно так проблему и решаем. Получается не так чтобы суперпросто, всё-же какой-никакой, а менеджер очередей приходится писать. Но жить можно.

[Georg]

Так и сделал в итоге, это оказалось даже удобнее, так как данные приходят из разных источников, а скрипт по крону все разом обрабатывает

[Анатолий]

Да, это отличный вариант, хотя если нагрузка критична, можно этот вариант слега поменять, лично мы пишем данные не в базу а в файл, так быстрей, и потом крон разбирает файлы. И базу не дергаем лишний раз, и смысл тот же.

[Georg]

У меня пока нагрузки никакой, потом видно будет. Пока что пишу в MongoDB

[rPman]

В файл писать не безопасно при многопоточном доступе (даже при дозаписи в конец, если блок данных достаточно большой, он может быть частично перезаписан следующим запросом), поэтому лучше пишите в БД, тем более для этого достаточно любой не транзакционной базы, хоть myisam в mysql (если будете создавать одну запись в одной таблице за один запрос)/

[Stac]

При записи в файлы можно использовать блокировку файлов (не работает, правда, в Windows) или просто писать в разные файлы, если блоки данных совсем большие.

Answer 2

[Иван Маслов]

php.net/manual/ru/book.gearman.php

Answer 3

[DiverUA]

Ну, я для решения такой задачи писал мини-демон на PHP, которому через сокет передавал данные на обработку. Был еще один мини-проект, так там службу на сях писал — вполне неплохо работало.

Comments

[DiverUA]

Хотя gearman — великолепный вариант, просто я о нем не знал)

[Georg]

gearman вещь сильная, спасибо за наводку

Answer 4

[ShouldNotSeeMe]

habrahabr.ru/post/40245/

Answer 5

[dali]

через командную строку с nohup

Answer 6

[werdender]

habrahabr.ru/qa/15851/

Answer 7

[shagguboy]

php_fpm и fastcgi_finish_request()

Comments

[Stdit]

Тут есть нюанс: если обработка данных идёт долго, а запросы — часто, то чайлд-процессы fpm-a могут не справиться. Поэтому в большинстве случаев это лучше делать в отдельном потоке, который в перспективе можно вытащить на отдельный сервер.

Answer 8

[iFrolov]

Для таких задач существуют менеджеры очередей, например, RabbitMQ.