File_get_contents не получает страницу полностью?

Question

[misha91]

file_get_contents не получает страницу полностью, а только часть страницы. В чем может быть проблема?

Comments

[Виталий Перетятько]

приведите адрес вашей страницы хотя бы

[misha91]

Вообщем если вывести то что он получил контент неожиданно обрывается так: <a href="/photoreports/43465" title=«8 материалов» st

причем срипт раньше получал контент страницы полностью, а сейчас почему то обрезает. Правки в него не вносились. Может есть какие нибудь лимиты на получение контента, или что то в контенте получаемой страницы?

[misha91]

адрес страницы — nightout.ru/photoreport/alpen-grotte/after-party-zolotoi-sostav-0?page=0

[misha91]

cURL не помог, контент обрезается на той же строке. Может ли это быть особенность страницы которую мы получаем?

Answer 1

[Stdit]

Сервер отдаёт только первый чанк, видимо криво настроен. Её в текстовой форме не может скачать ни curl, ни wget. Браузер получает полную страницу потому, что использует gzip. Чтобы получить полную страницу через gzip на php, надо сделать что-то такое:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://nightout.ru/photoreport/alpen-grotte/after-party-zolotoi-sostav-0?page=0');
curl_setopt($ch, CURLOPT_HTTPHEADER, array('Accept-Encoding: gzip'));
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($ch);
echo gzinflate(substr($result,10));

Comments

[Константин]

… «видимо криво настроен» :-D
Прикольно, но всетаки здесь проблема не в сервере а в PHP ;-)

[edogs]

По поводу php мы бы не были так однозначны. wget и GET (консольные) так же качают обрубок

[misha91]

ОГОМНОЕ ЧЕЛОВЕЧЕСКОЕ СПАСИБО! :)

теперь все работает!

Answer 2

[dali]

не мучайтесь с file_get_contents, используйте cURL для получения страницы, у меня он даже быстрее отрабатывает чем file_get_contents. Перешел на cURL после ошибок вида PHP Warning: file_get_contents('...'): failed to open stream: Connection timed out in /var/www/…

Comments

[misha91]

пробовал вместо file_get_contents использовать такую штуку:

function http_request($url)
{
$curl_handler = curl_init($url);
curl_setopt($curl_handler, CURLOPT_RETURNTRANSFER, 1);
$response = curl_exec($curl_handler);
curl_close($curl_handler);
return $response;
}

результат один и тот же :(

Answer 3

[Sincous]

Использовал file_get_contents, fsockopen, потом как заметили выше перешел на cURL, и даже это не решило проблему. (использовал на скачке изображений из вконтакте).
Поэтому для страниц где не нужна авторизация а нужно лишь получение контента рекоменлую просто
<?php
$l = file($url);
$content = implode('', $l);
?>


Comments

[misha91]

сделал так, контент опять обрезался на той же строке… Думаю проблема в коде получаемой странице, только не знаю какая

Answer 4

[Meliborn]

В отсутствии подробностей в вопросе.

Comments

[misha91]

возможно :) вопрос уточнил

Answer 5

[Константин]

1. www.php.net/manual/en/filesystem.configuration.php#ini.allow-url-fopen?
2. error_reporting(E_ALL); ini_set('display_errors', true) // это так, на авось

3. Плохой протокол не ХТТП 1.1 а 1.0? Transfer-Encoding:chunked? www.php.net/manual/en/context.http.php «PHP prior to 5.3.0 does not implement chunked transfer decoding.».

Comments

[Константин]

Решение найдите или на гугл (вдруг что элегантное найдётся) или через php.net/manual/en/function.fsockopen.php

[egorinsk]

У меня wget тоже не качает. Видимо, действительно, все дело в чанках. В любом случае, нефиг грабить чужие сайты.