Почему curl внутри foreach не работает?

Question

[user0name0]

Пишу парсер, использую curl. Скрипт получает группу ссылок с нужной страницы (используя curl и регулярки) и записывает их в массив $match, далее такой код:

foreach ($match[0] as $url) {
//echo $url: - проверка. Выводит url.
$curl = curl_init();
curl_setopt($curl, CURLOPT_PROXY, "127.0.0.1:9050"); // Использую Tor-прокси.
curl_setopt($curl, CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5); 
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0);
curl_setopt($curl, CURLOPT_HEADER, 0);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($curl, CURLOPT_URL, 'https://'.$url);  // Если писать вручную, без foreach, то работает.
$urlcont = curl_exec($curl); 
var_dump($urlcont); }

Все ссылки рабочие, но var_dump выводит string(0) "". Причем выводит не false - ошибок нет.
Что интересно, если взять любую ссылку из массива и вне foreach вставить в CURLOPT_URL, то всё отлично работает. Проблема возникает именно при переборе массива.
Я пробовал ставить задержки, использовать multiCURL, посылать useragent, использовать куки - полный ноль.
URL вида site.com/index.php?page=post&id=43 - я думал, что дело в пост-запросе и даже отправлял его через CURLOPT_POSTFIELDS, но снова не то.

Comments

[Arman]

А если со скобкой в конце перед точкой с запятой? curl_setopt($curl, CURLOPT_URL, 'https://'.$url;

[user0name0]

Arik, Опечатка в посте. Исправил уже. В коде скобка есть.

Answer 1

[user0name0]

Заменил:
curl_setopt($curl, CURLOPT_URL, 'https://'.$url);
На:
curl_setopt($curl, CURLOPT_URL, htmlspecialchars_decode('https://'.$url));
Не знаю, почему и как ссылки кодируются, но главное, что теперь всё работает.

Answer 2

[Дмитрий Дарт]

Данных недостаточно, надо видеть структуру массива $match[0] как минимум.
А вообще говорю заранее - всё работает, ищите ошибку.
P.S. Сделайте внутри for ради интереса, там работает, я проверял ))

Comments

[user0name0]

В $match[0] только ссылки.
array(42) {
[0]=>string(58) "site.com/index.php?page=post&id=43"
[1]=>string(58) "site.com/index.php?page=post&id=45"
*** }

[Дмитрий Дарт]

user0name0, а протокол? Должно быть
[0]=>string(58) "site.com/index.php?page=post&id=43"
[1]=>string(58) "site.com/index.php?page=post&id=45"
ну или https

[user0name0]

Дмитрий Дарт, https дописывается тут:
curl_setopt($curl, CURLOPT_URL, 'https://'.$url);

Попробовал заменить foreach на for - тот же результат, пустая строка.

[Дмитрий Дарт]

user0name0, попобуйте передавать URL в $vat = curl_init($url_link); посмотрел у себя - есть такие рабочие варианты а не в CURLOPT_URL

Answer 3

[Nick Sdk]

curl_setopt($curl, CURLOPT_URL, 'https://'.$url;

вероятно, здесь должно быть как минимум

curl_setopt($curl, CURLOPT_URL, 'https://' . $url);

Comments

[user0name0]

Там есть скобка. Я случайно стёр уже в посте, когда комментарий добавлял.

[Nick Sdk]

user0name0, попробуйте вместо $url прописать какую-то одну ссылку
будет ли результат "пуст"?

[user0name0]

Nick Sdk, Внимательнее читайте пост. Если без foreach просто писать ссылку, то всё работает.

[Nick Sdk]

user0name0, я имею ввиду внутри цикла ходить по одной и той же ссылке
такое пробовали?

[user0name0]

Nick Sdk, Попробовал. Работает. Заменяю на 'https://'.$url - снова нет.

[Nick Sdk]

user0name0, а у сайта точно протокол https?

[user0name0]

Nick Sdk, Да. И автоматический редирект с http на https.

[Nick Sdk]

user0name0, мне кажется, у вас где-то переменные могут перезаписываться

[Nick Sdk]

user0name0, такой вариант попробуйте

$curls = [];
foreach ($match[0] as $index => $url) {
//echo $url: - проверка. Выводит url.
    $curls[$index] = curl_init();
    curl_setopt($curls[$index], CURLOPT_PROXY, "127.0.0.1:9050"); // Использую Tor-прокси.
    curl_setopt($curls[$index], CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5);
    curl_setopt($curls[$index], CURLOPT_SSL_VERIFYPEER, 0);
    curl_setopt($curls[$index], CURLOPT_SSL_VERIFYHOST, 0);
    curl_setopt($curls[$index], CURLOPT_HEADER, 0);
    curl_setopt($curls[$index], CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($curls[$index], CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($curls[$index], CURLOPT_URL, 'https://'.$url);  // Если писать вручную, без foreach, то работает.
    // так
    $urlcont = curl_exec($curls[$index]);
    var_dump($urlcont);
}
// или так
foreach ($curls as $curl) {
    $urlcont = curl_exec($curl);
    var_dump($urlcont);
}

[user0name0]

Nick Sdk, Попробовал оба варианта. Всё еще ничего.

[user0name0]

Nick Sdk, Возможно ли, что ссылка каким-то образом меняется? Например, амперсанды меняются на &? Если заменить их таким образом и перейти по ссылке вручную, то как раз выводится пустота.

[user0name0]

Да, так оно и было. Использовал htmlspecialchars_decode, теперь всё работает.

[Nick Sdk]

user0name0, отлично