Curl и тяжёлое тело как получить?

Question

[Thegaar]

Ребят пробую спарсить страницу с 1000+ товарами. cURL падает с ошибкой

Proc with args = ['php', 'parser.php', 'https://site.ru/products'] exited with code = 255
stderr = PHP Warning:  Module 'curl' already loaded in Unknown on line 0
PHP Fatal error:  Call to a member function find() on a non-object in /data/Projects/website/app/parsers/parser.php on line 42
``

Вот код парсера

function parse_site($url, $cookie){

		$ch = curl_init($url);
		curl_setopt($ch, CURLOPT_HEADER, 0); 
		curl_setopt($ch, CURLOPT_NOBODY, 0); 
		curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
		curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
		curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
		curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 900);
		curl_setopt($ch, CURLOPT_TIMEOUT, 900);
		curl_setopt($ch, CURLOPT_COOKIE, $cookie);
		$curl_body = curl_exec($ch);  
		curl_close($ch);
	
		$html_body = str_get_html($curl_body);

		if(!$html_body->find(CONST_ITEMS_TAG))               //42 строчка
			return getErrorMsg(1, CONST_ITEMS_TAG);     //43 строчка
		
		foreach($html_body->find(CONST_ITEMS_TAG) as $items){
                   .........парсим
                }
             }

Для парсинга тела юзаю simple html dom. В чём косяк? Я подозреваю cURL не может тело нормально получить... ибо если товаров на странице менее 100 - всё нормально.

Answer 1

[Макс]

Ну посмотри что у тебя там возвращается в $curl_body

Comments

[Thegaar]

Макс вернул тело в файл логов. Вес 6мб. Страница тяжёлая, значит проблема в simple html dom?

Answer 2

[Dimonchik]

поставь PHP max_execution_time на те же 900-1000

поставь заголовки gz, чтобы передавалась в сжатом виде (не всегда прокатывает)

Comments

[Thegaar]

а без костылей? Есть нормальные быстрые парсеры в php?

[Dimonchik]

конечно есть
только хули толку от них, если удаленный сервер вам страницу не успел отдать
что "быстро парсить" будете?

[Thegaar]

dimonchik2013: полностью согласен. Получается это от сервера зависит... жёстко)

[Dimonchik]

ну все что можно сделать - я описал, в конце концов, если парсите сайт, котороый нормально в гугле - он должен отдавать за приемлемое время

[Thegaar]

dimonchik2013: 30-40 секунд (1200 товаров) - приемлемое время???)

Answer 3

[Everal]

добавь для пыхи озу побольше )

Answer 4

[ThunderCat]

simple html dom нереально тугой, ставь время выполнения скрипта побольше, а лучше выкинь это г*вно и пользуйся регулярками. Возможно проблема в скорости отдачи с сервера, но для начала просто запусти скрипт без simple html dom. Для начала я бы просто сделал парсинг в файлы на локальном хосте и парсил бы уже их локальными скриптами.

Comments

[Thegaar]

ThunderCat Дело в том, что cURL очень долго получает страницу. 1200 товаров на странице curl получает тело 30-40 секунд. Можно ли это дело ускорить? Поменял кстати simple html dom на phpQuery. Вроде нормально парсит.

[ThunderCat]

Thegaar: Скорость вероятнее всего от curl не зависит, тут вопрос скорости соединения и скорости отдачи контента сервером. Но это легко проверить - выключить все кроме курла и провести тест. Открыть страницу просто браузером и сравнить по скорости открывания с курлом. С локальной машины должно быть примерно одинаковое время. Совет тот же - сохранять локальные копии и затем парсить на месте.