Как справиться со спец символами во время парсинга через библиотеку curl?

Question

[Виталий Семьянчук]

Добрый день
У меня такая проблема, не могу справиться из спец символами, когда парсю через библиотеку curl то из-за них выдает ошибку, что можно сделать чтобы как-то экранировать их или еще что то.
Пример адреса -
localhost/profile(product™-secretarial-services).htm
localhost/profile(copy-comme-ça)_537356.htm

Answer 1

[Александр Вульф]

Попробуйте закачать этот класс.
А затем сделать так:

<?php

include_once('idna_convert.class.php');

$url="localhost/profile(product™-secretarial-services).htm";

$converter = new idna_convert();
$domain = parse_url($url, PHP_URL_HOST);
$encoded_domain = $converter->encode($domain);
$url = str_replace($domain, $encoded_domain, $url);

$resource = curl_init();
curl_setopt($resource, CURLOPT_URL, $url);
curl_setopt($resource, CURLOPT_URL, $url);
curl_setopt($resource, CURLOPT_TIMEOUT, 30);
curl_setopt($resource, CURLOPT_MAXREDIRS, 10);
curl_setopt($resource, CURLOPT_RETURNTRANSFER, true);

$response = curl_exec($resource);

curl_close($resource);
?>

Answer 2

[PhantomBlade]

Не совсем понял, но может быть вам нужен rawurlencode?

Answer 3

[Дмитрий Дерепко]

зачем пример адреса? пример кода нужно

Answer 4

[Виталий Семьянчук]

Поставил эту функцию, curl выдал ошибку, адрес получился вот такой localhost/%2Fprofile%28copy-comme-ca%29_537356.htm

Answer 5

[Виталий Семьянчук]

Вот моя функция:
$url=localhost/profile(product™-secretarial-services).htm
$ch=curl_init();
curl_setopt($ch, CURLOPT_URL, trim($url));
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_TIMEOUT, 60);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 60);
curl_setopt($ch, CURLOPT_REFERER, "google.com");
curl_setopt($ch, CURLOPT_USERAGENT, get_random_user_agent());
$res=curl_exec($ch);
Вот и хочу получить содержимое страницы, а оно мне ошибку выдает

Comments

[Александр Вульф]

Может, обернуть localhost/profile(product™-secretarial-services).htm в кавычки?

[Виталий Семьянчук]

ой это я здесь не правильно скопировал у меня в кавычках

[Виталий Семьянчук]

$url="localhost/profile(product™-secretarial-services).htm"
$ch=curl_init();
curl_setopt($ch, CURLOPT_URL, trim($url));
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_TIMEOUT, 60);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 60);
curl_setopt($ch, CURLOPT_REFERER, "google.com");
curl_setopt($ch, CURLOPT_USERAGENT, get_random_user_agent());
$res=curl_exec($ch);

Answer 6

[Виталий Семьянчук]

Так и сделал
<?php

include_once('idna_convert.class.php');

$url="localhost/profile(product™-secretarial-services).htm";

$converter = new idna_convert();
$domain = parse_url($url, PHP_URL_HOST);
$encoded_domain = $converter->encode($domain);
$url = str_replace($domain, $encoded_domain, $url);

$resource = curl_init();
curl_setopt($resource, CURLOPT_URL, $url);
curl_setopt($resource, CURLOPT_URL, $url);
curl_setopt($resource, CURLOPT_TIMEOUT, 30);
curl_setopt($resource, CURLOPT_MAXREDIRS, 10);
curl_setopt($resource, CURLOPT_RETURNTRANSFER, true);

$response = curl_exec($resource);

echo $response;
curl_close($resource);

url уже смотрю отображается нормально, но все равно страница пустая

Answer 7

[_ _]

Видимо не судьба, высокий порог вхождения, все дела

Answer 8

[Виталий Семьянчук]

Та как это, разве ссылки в которые входят спец символы нельзя парсить??

Answer 9

[Виталий Семьянчук]

Нет, это я ошибся,скрипт сверху работает спасибо @mannaro