php_curl_multi: Пара вопросов

Question

[FilimoniC]

Добрый день, это снова я.

Подскажите, требуется реализовать вот такой класс — менеджер запросов.
Основная задача: функции должны возвращать управление моментально.
Хотел сделать на cURL (curl_multi), возникли следующие проблемы:
Вопрос 1
практически не нашел понятной документации по curl_multi_exec (касательно возвращаемого значения), а именно:
всегда ли curl_multi_exec возвращает CURLM_OK, если все переданные дескрипторы потоков корректно могут выполняться?
Вопрос 2
Можно ли после вызова culr_multi_exec добавлять (curl_multi_add_handler) потоки после чего повторно выполнять curl_multi_exec, если часть потоков уже выполняется, часть — уже выполнилась. Можно ли их убирать (curl_multi_remove_handler) во время выполнения?
_{Сейчас на каждый посылаемый запрос создается помимо «обычного» потока (curl_init) еще один мульти-поток (curl_multi_init). Надо было написать быстро, не стал тестировать}
Вопрос 3
Возможно, есть уже такой удобный класс, дабы не реализовывать самому (повтор ошибочных запросов, удаление незапрошенных в течение X минут данных, примитивные проверки)

/*
* Интерфейс класса:
*     sendRequest - отправить запрос
*     getResponse - получить данные по запросу, если выполнен, если нет - NULL
*/
class X { 
          public sendRequest($request_data) {
          //...
          returb $new_request_id;
          }
          public getResponse($request_id) {
          //...
          return (is_null($response)?"NULL":$response)
          }
}

Comments

[WEBIVAN]

А какое количество потоков требуется одновременно? Имел опыт работы, и оно очень ресурсоемкое…

[FilimoniC]

Требуется от 50 до 100 потоков в пределе, обычно 5-10 (95% времени)

Answer 1

[WEBIVAN]

Сейчас на каждый посылаемый запрос создается помимо «обычного» потока (curl_init) еще один мульти-поток (curl_multi_init). Надо было написать быстро, не стал тестировать

Это вы очень жестоко делаете. Достаточно одного мульти-потока, в который можно добавлять и удалять обычные потоки в процессе работы.

Comments

[FilimoniC]

Спасибо, есть ли пример какой-нибудь такой работы? Дело в том, что ранее почти с curl не сталкивался, хотел бы избежать глупых ошибкок (особенно касательно способов возврата). Честно говоря, все «классические» примеры cURL-многопоточности выглядят как «посылаем запросы и ждем всех» практически не документированы и не содержат кода обработки ошибок (может, подскажете толковую документацию по этой группе функций)

[WEBIVAN]

Примеров, увы, не осталось, хотя из этой статьи общий принцип работы понять легче чем из доков на офф.сайте. Сам по ней разбирался.
Мне требовалось 500+ потоков, а поедаемые ресурсы были ну совсем не адекватны(Как при использовании curl, так и при использовании steam и неблокирующих сокетов). В результате была написана другая программа на C# которая была раз в 10 менее ресурсоемка.

[FilimoniC]

Спасибо

[FilimoniC]

Кстати, вопрос сразу возник. Везде приводится пример (ниже). Не понимаю, не достаточно ли одного запуска curl_multi_exec и о чем свидетельствует CURLM_CALL_MULTI_PERFORM?

do {
	$mrc = curl_multi_exec($cmh, $active);
}
while ($mrc == CURLM_CALL_MULTI_PERFORM);

[Алексей Сундуков]

WEBIVAN

"… а поедаемые ресурсы были ну совсем не адекватны..."

А каких именно (CPU? Mem?) и в каком приблизительно объеме? И это случайно не на Windows было?

[WEBIVAN]

alekciy
CPU.
Сейчас точно не вспомню, но 500 постоянно работающих потоков съедало весь CPU(по-моему даже несколько ядер, но тут не уверен работает ли мультикурл с несколькими ядрами. На моей памяти вроде бы съедалось и 2 и 4 ядра).
Пробовалось и на linux и на windows — прожорливость одинаковая.
Как выше писалось, написанная на C# прога была буквально на порядок более производительной.(За тот же период скачивала в 10 раз больше страниц из того же списка).
Так что мультикурл годится, если надо скачать параллельно до сотни страниц разово, и совершенно непригоден для потоковой загрузки списка урлов в кучу потоков.

Answer 2

[Wott]

Есть хорошая обертка — MultiCurl от Vadym Timofeyev <[e-mail]>