Почему не работают параллельные запросы?

Question

[Vit]

Использую php и Guzzle 3 для получения данных со множества ссылок. К сожалению не могу использовать Guzzle 4, ибо php 5.3. И рад бы обновиться, но в данном случае такой возможности у меня нет.
Для увеличения скорости логично отправлять запросы по ссылкам параллельно, что вроде бы позволяет Guzzle 3, если ему передавать не один запрос, а массив запросов (guzzle3.readthedocs.org/http-client/client.html#se... ). Только вот скорость выполнения скрипта у меня все равно такая же не высокая, как если бы я отправлял запросы последовательно. ЧЯДНТ?

UPD: в итоге оказалось, что проблема не в Guzzle, а в том, что в этот день жутко тормозил сайт который я парсил))). А параллельные запросы в Guzzle работают отлично.

Answer 1

[Александр Кубинцев]

Внутри одного потока/воркера curl работает в синхронном режиме.
Вам нужно копать либо в сторону асинхронной реализации, что приведёт к написанию демона на ReactPHP скорее всего, либо в сторону многопоточности, либо вообще в другой ЯП.

Пример полуфабриката, который вы могли бы взять на вооружение https://github.com/kryoz/socket2http . На 5.3 может не завестись, но только из-за синтаксиса в некоторых местах.

Comments

[Vit]

Да нет, curl_multi позволяет запускать несколько запросов параллельно в рамках одного php-потока.

[Александр Кубинцев]

@fornit1917 я полагал curl_multi и так реализован в guzzle, но у вас оно не заработало должным образом, потому такие варианты и предложил :)
Возможно действительно тогда стоит самому написать обёртку.

Answer 2

[Дмитрий Энтелис]

Если Вам нужны параллельные запросы - есть curl_multi php.net/manual/ru/function.curl-multi-init.php

Comments

[Vit]

Я искренне полагал, что Guzzle предоставляет обертку над ним, да и судя по беглому взгляду на исходники - curl_multi там используется. Но что-то видимо я упустил, и оно не работает так, как мне хочется. Видимо проще будет велосипед на curl_multi набросать самому...

[Дмитрий Энтелис]

Я понятия не имею что такое Guzzle и какие у него преимущества перед велосипедом, но беглое изучение их сайта дает вот такой пример: guzzle.readthedocs.org/en/latest/clients.html#send...

[Сергей Протько]

@DmitriyEntelis ссылку на этот пример приложил автор вопроса, если что. А Guzzle удобная обертка над curl, дефакто стандарт. Есть даже обертки для тестов с использованием Guzzle вместо браузера.

Answer 3

[Сергей Протько]

Да, если вы прописываете массив реквестов, Guzzle будет пытаться все это дело отправлять через curl_multi собственно как и в примере.

Так же почитайте вот это:
guzzle3.readthedocs.org/en/latest/batching/batchin...