Параллельное выполнение операций в PHP?

Question

[Rhaps107]

Есть ли тут люди опытные в написании PHP-скриптов с параллельным выполнением некоторых действий? К примеру, есть веб-страница, информация для которой скачивается и парсится из нескольких источников. Логично распараллелить эти процессы. Как технически это можно реализовать? ОС linux или freebsd. Есть вариант c запуском фоновых процессов (exec('php somescript… &')), которые будут эти операции выполнять и результат сохранять в файлы, а основной процесс будет ожидать появления этих файлов. Но как-то это неоптимально, мне кажется.

Answer 1

[stan_jeremy]

если вам реально надо просто парсить — то можно воспользоваться php.net/manual/ru/function.curl-multi-exec.php?

Comments

[Rhaps107]

Спасибо, не знал о такой возможности curl. Отличное распараллеливание запросов. Но только запросов.

Answer 2

[Skpd]

Gearman

Answer 3

[Вячеслав Слинько]

github.com/reactphp/react/blob/master/examples/parallel-download.php

Comments

[Вячеслав Слинько]

Упс, хотел отписаться выше.

Answer 4

[Вячеслав Слинько]

reactphp.org

Comments

[Rhaps107]

По первому впечатлению — отличная реализация callback-ориентированной библиотеки. Судя по исходникам, опирается на www.php.net/manual/en/intro.libevent.php. Изучаю, пытаюсь понять. Возможно, лучший кандидат.

Answer 5

[zizop]

Как вариант — обернуть таски в что-нибудь удобоваримое типа Symfony 2 Console Command и гонять их через PHP Process Manager

Comments

[Станислав Гамаюнов]

А как, используя PHP Process Manager, передавать данные скриптам? Возможно ли?

[zizop]

Да. можно вот так:

<?php

include_once('class.process_manager.php');

$manager              = new Processmanager();
$manager->executable  = "php";
$manager->path        = "";
$manager->show_output = true;
$manager->processes   = 3;
$manager->sleep_time  = 1;
$manager->addScript("sleep.php --param=paramValue", 2);
$manager->addScript("sleep.php --param=anotherValue", 2);
$manager->exec();

А разбирать параметры можно через Sf2Console, там очень удобно это.

[Станислав Гамаюнов]

Точно. А если данных много, то можно их сериализовать, положить в redis, например, и параметром передавать скрипту ключ, по которому он эти данные получит.
Круто. И довольно просто. Для моих задач это может заменить Gearman. Спасибо.

[zizop]

Пожалуйста :-) Ещё для коллекции есть Symfony 2 Process component, но имхо он слабее.

[Rhaps107]

А вот это, похоже, отличный пример для органазации общения с подпроцессами. Полезная статья об этом — habrahabr.ru/post/148596/

[zizop]

Да, статья в тему. Спасибо!

Answer 6

[Bal]

>К примеру, есть веб-страница, информация для которой скачивается и парсится из нескольких источников. Логично распараллелить эти процессы.

Логичнее всего подобные задачи запускать в виде cli-скриптов. Соответственно, задача распараллеливания решается автоматически запуском N разных скриптов.

Если же нужно делать всё из одного скрипта — то удобнее всего использовать fork. Хотя и будут трудности с синхронизацией данных.

Если же, скажем, посещение пользователем страницы должно инициировать фоновые процессы (скажем, ответ пользователя в тему форума, порождающий рассылку нотификаций по e-mail), то тут удобно послать задание в gearman. И отдельно будет крутиться демон, который будет забирать с gearman'а задания и отрабатывать их отдельным потоком.

Comments

[Rhaps107]

Как огранизовать общение с cli-скриптами?

Answer 7

[Sergey Cherepanov]

Может быть еще php.net/manual/ru/function.pcntl-fork.php

Comments

[stan_jeremy]

хм, а реально ли что-то вроде этого будет быстрее конкретно для этого случая?

<?php 
$cmds = array("wget http://ololo.ru/1","wget http://ololo.ru/2","wget http://ololo.ru/3","wget http://ololo.ru/4");
foreach ($cmds as $cmd) { 
   $pid=pcntl_fork(); 
   if ($pid) { 
     exec($cmd); 
     break; 
   } 
 } 
?>

[Sergey Cherepanov]

тогда уж

<?php 
$cmds = array("1.php","2.php","2.php","4.php");
foreach ($cmds as $cmd) { 
   $pid=pcntl_fork(); 
   if ($pid) { 
     exec("php " . $cmd  . "&"); 
     break; 
   } 
 } 
?>

[Rhaps107]

Спасибо! pcnt_fork — решает проблему создать параллельный процесс. Но тут сложность в том — как реализовать «общение» родительского процесса с клоном? И не будет ли fork ресурсоемок, т.к. родительский процесс кушает оперативки и процессора довольно много. Если его клонировать, как минимум оперативка страдает примерно вдвое.

Answer 8

[Иван]

Если совсем просто. то командой nohup полностью отделяем процесс в выполнение.
И ставим какие-то условия для обработки разных данных (чтобы наслоения в обработке не было).