Как сделать мультикурл через несколько адресов?

Question

[Zimaell]

На данный момент у меня стоит задача получить контент, но чтобы его получить правильно, сначала нужно на один адрес отправить пост запрос и получить куки, а потом с этими куками посетить нужную страницу.
Я делаю так - сначала мультикурл делаю пост запросы и получаю куки, сохраняю их в массив, далее делаю еще один мультикурл на заданные страницы уже с нужными куками.
Вопрос - можно ли как-то это сделать за один мультикурл? Если да то подскажите как...

Попытался изложить как мог...

Answer 1

[Артемий Каркуша]

curl_multi_init - Позволяет асинхронную обработку множества cURL-дескрипторов.
Вы одновременно обращаетесь к двум разным адресам. Для вашей задачи используйте последовательные запросы.

Comments

[Zimaell]

Забыл добавить, все запросы делаю через разные прокси, то есть например я 10 прокси взял, получил для каждого куки и пошел на 10 разных страниц с этими куками, это не меняет ситуацию?
Просто уточняю, если это не меняет ситуацию то буду копать в этом направлении...
И на сколько это меняет ситуацию, то есть как я сейчас делаю и то как вы привели пример.

[Zimaell]

стоп, я и так делаю через curl_multi_init, только за один цикл я беру куки, а за второй цикл делаю запросы на страницы, как это сделать за один цикл?

[Артемий Каркуша]

Меняет. Запустить мультикарл на 10 страниц с куками. После используя куки, мультикарл обратиться на страницы.

[Артемий Каркуша]

Можно ваш код

[Zimaell]

spoiler

$channels=array();
$multi=curl_multi_init();
foreach($arr as $url=>$proxy){
	$arr_proxy[$url]=$proxy;
	$post='..........';
	$ch=curl_init();
	curl_setopt($ch,CURLOPT_URL,'..............');
	curl_setopt($ch,CURLOPT_COOKIEFILE,"");
	curl_setopt($ch,CURLOPT_REFERER,'.............');
	curl_setopt($ch,CURLOPT_FOLLOWLOCATION,FALSE);
	curl_setopt($ch,CURLOPT_RETURNTRANSFER,TRUE);
	curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,FALSE);
	curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,FALSE);
	curl_setopt($ch,CURLOPT_HEADER,TRUE);
	curl_setopt($ch,CURLOPT_TIMEOUT,11);
	curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,11);
	curl_setopt($ch,CURLOPT_POST,TRUE);
	curl_setopt($ch,CURLOPT_POSTFIELDS,$post);
	curl_setopt($ch,CURLOPT_MAXREDIRS,1);
	curl_setopt($ch,CURLOPT_PROXYTYPE,0);
	curl_setopt($ch,CURLOPT_PROXY,$proxy);
	curl_setopt($ch,CURLOPT_ENCODING,"");
	curl_multi_add_handle($multi,$ch);
	$channels[$url]=$ch;
	}
$active=NULL; do{ $mrc=curl_multi_exec($multi,$active); } while($mrc==CURLM_CALL_MULTI_PERFORM);
while($active && $mrc==CURLM_OK){
	if(curl_multi_select($multi)==-1) usleep(rand($settings_parser['cookie_usleep_active_min'],$settings_parser['cookie_usleep_active_max']));
		do{ $mrc=curl_multi_exec($multi,$active); } while($mrc==CURLM_CALL_MULTI_PERFORM);
	}
foreach($channels as $url=>$ch){
	$content=trim(curl_multi_getcontent($ch));
	// тут из контента берутся куки
	$arr_cookie[$url]=get_cookie($content);
	curl_multi_remove_handle($multi,$ch);
	}
curl_multi_close($multi);
#===================================================================#
$channels=array();
$multi=curl_multi_init();
foreach($arr_cookie as $url=>$cookie){
	$proxy=$arr_proxy[$url];
	$ch=curl_init();
	curl_setopt($ch,CURLOPT_URL,'..............');
	curl_setopt($ch,CURLOPT_COOKIEFILE,"");
	curl_setopt($ch,CURLOPT_COOKIE,$cookie);
	curl_setopt($ch,CURLOPT_REFERER,'.............');
	curl_setopt($ch,CURLOPT_FOLLOWLOCATION,FALSE);
	curl_setopt($ch,CURLOPT_RETURNTRANSFER,TRUE);
	curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,FALSE);
	curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,FALSE);
	curl_setopt($ch,CURLOPT_HEADER,TRUE);
	curl_setopt($ch,CURLOPT_TIMEOUT,11);
	curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,11);
	curl_setopt($ch,CURLOPT_POST,TRUE);
	curl_setopt($ch,CURLOPT_POSTFIELDS,$post);
	curl_setopt($ch,CURLOPT_MAXREDIRS,1);
	curl_setopt($ch,CURLOPT_PROXYTYPE,0);
	curl_setopt($ch,CURLOPT_PROXY,$proxy);
	curl_setopt($ch,CURLOPT_ENCODING,"");
	curl_multi_add_handle($multi,$ch);
	$channels[$url]=$ch;
	}
$active=NULL; do{ $mrc=curl_multi_exec($multi,$active); } while($mrc==CURLM_CALL_MULTI_PERFORM);
while($active && $mrc==CURLM_OK){
	if(curl_multi_select($multi)==-1) usleep(rand($settings_parser['cookie_usleep_active_min'],$settings_parser['cookie_usleep_active_max']));
		do{ $mrc=curl_multi_exec($multi,$active); } while($mrc==CURLM_CALL_MULTI_PERFORM);
	}
foreach($channels as $url=>$ch){
	$content=trim(curl_multi_getcontent($ch));
	curl_multi_remove_handle($multi,$ch);
	}
curl_multi_close($multi);

может чего напутал так как очень сократил код, но думаю мысль понятна, первый цикл прогоняется для получения кук и они присваиваются определенным прокси, далее идет запрос уже к страницам через прокси с присвоенными к ним куками...