PHP file_get_contents даёт 404, с браузера грузится?

Question

[Михаил Пахмутов]

Вот такая проблема возникла, пытаюсь получить эту страницу
avtomarket.ru/catalog/Volvo/740/29673

Получаю так (ну и как видите перевожу в UTF8):
iconv("windows-1251", "UTF-8", file_get_contents('avtomarket.ru/catalog/Volvo/740/29673'));

Ошибка:

Warning: file_get_contents(http://avtomarket.ru/catalog/Volvo/740/29673/): failed to open stream: HTTP request failed! HTTP/1.1 404 Not Found

К примеру, при попытке получить другую страницу на том же сайте:
avtomarket.ru/catalog/Volvo/XC90/37116
страница подгружается

Не знаю куда копать, подскажите.

Comments

[Михаил Пахмутов]

Такое интересное дело, посмотрел в Firebug и увидели, что браузер тоже получает 404, но всё равно подгружает страницу, это как?

[Михаил Пахмутов]

Большое спасибо, помогло!

Чтобы во всём коде не добавлять curl, сделал функцию замену для file_get_contents

function filegetcontents($url){
$c = curl_init($url);
curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
return iconv("windows-1251", "UTF-8",curl_exec($c));}

Answer 1

[Yakov Akulov]

Попробуйте curl

$c = curl_init('http://avtomarket.ru/catalog/Volvo/740/29673/');
curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
$content = curl_exec($c);

у меня сработало

Comments

[Михаил Пахмутов]

Большое спасибо, помогло

Answer 2

[AxisPod]

Заголовки проверяет, в случае, если не бразуер, посылает куда подальше.

Answer 3

[delletenebre]

Попробуйте с заголовком UA:

$opts = array(
  'http'=>array(
    'method'=>"GET",
    'header'=> "User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36\r\n"
  )
);

$context = stream_context_create($opts);

$file = file_get_contents('http://avtomarket.ru/catalog/Volvo/XC90/37116/', false, $context);

Comments

[Михаил Пахмутов]

Пробовал, не помогло

[Михаил Пахмутов]

Даже если я с браузера(FF) захожу всё равно выдаётся 404 в заголовке. Это у них скорее баг, нежели фича

Answer 4

[TomaZ Vazovsky]

А у вас хоть одну страницу (любую) так загрузить получается?
Я к тому, что адрес для file_get_contents нужно указывать вместе с http://
или вы ошибку только тут в описании допустили?

Плюс, я бы рекомендовал использовать что-то вроде этого:

$context = stream_context_create(
    [
        'http' => [
             'method' => 'GET',
             'protocol_version' => '1.1',
             'header' => [
			'User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0',
			'Connection: close',
             ],
    ]
);
$stream = fopen('http://url', 'r', false, $context);
$content =  stream_get_contents($stream); //тут получаем страницу
$data = stream_get_meta_data($stream); //тут получаем информацию, в том числе заголовки ответа

Comments

[Yakov Akulov]

@TomaZ думаю это парсер просто обрезал.
там действительно 404 отдается, так что проще получить контент curl'ом

[TomaZ Vazovsky]

Да, наверно.
Насчет 404 не знаю, сейчас заходил, у меня 200.
p.s. вместо курла я обычно контекст юзаю, если ничего особенного не нужно.

Answer 5

[Александр]

однозначно нужно копировать заголовок и имитировать браузер