Почему не парсит вот этот сайт https://vstup.edbo.gov.ua/offer/538114/?

Question

[dimavfox]

<?php 
	require('phpQuery/phpQuery.php');
	require('curl.php');
	require('simple_html_dom.php');

	$curl = new Curl();

	$res = $curl->get('https://vstup.edbo.gov.ua/offer/538114/');

	$doc = phpQuery::newDocument($res->body);
	$offers = $doc->find('div.offer-request');
	
	echo $doc;

	foreach ($offers as $offer) 
	{
		$pq = pq($offer);
		
		$number = $pq->find('.offer-request-n span')->text();
	}


?>

Пишу echo $doc;
И не выводит заявки абитуриентов.
Это связано с сайтом или я что-то не так делаю?
Поясните пожалуйста

Comments

[Ruslan Mordovanech]

кто-то нашел способ у меня та же проблема нужно POST вытащить?

Answer 1

[hzzzzl]

их не существует на момент загрузки страницы, они подгружаются уже потом
view-source:https://vstup.edbo.gov.ua/offer/538114/
(интересно, выйдет ли вставить такую ссылку)

но может выйдет сделать POST и получить сразу массив с данными без парсинга (см в консоли разработчика)

Comments

[dimavfox]

Да, я заметил что они потом подгружаются, а как их подгружать?

[hzzzzl]

dimavfox, подозреваю что будет не совсем просто, потому что обычный ПОСТ на этот адрес отклоняет гугловская рекапча, постою в сторонке послушаю что люди скажут тоже

[Шамуэй]

dimavfox, selenium

[dimavfox]

Шамуэй, это отдельно приложение или для php?

[dimavfox]

hzzzzl, что значит их нет на момент загрузки?
Сначал азагрузилась страница, а потом заявы?
Да, я зашел, страница загрузилась, и потом загружаются заявы, не понятно, как это связано

[Евгений Ромашкан]

dimavfox, На php тоже есть обертки над selenium. Возможно, есть ещё варианты использовать драйвера браузеров.

что значит их нет на момент загрузки?
Сначал азагрузилась страница, а потом заявы?
Да, я зашел, страница загрузилась, и потом загружаются заявы, не понятно, как это связано

Значит что Curl не исполняет js на странице, в том числе тот что отвечает за получение и отображение нужной вам информации, а просто отдаёт вам что вернулась на ваш запрос.

[Wayder]

Евгений Ромашкан, а можно сделать, чтобы возвращал?

[Kotaro Hiba]

Кому интересно вот велосипед который решает данную проблему: Как спарсить заявы с этого сайта https://vstup.edbo.gov.ua/offer/538114/?