Как спарсить блок, которого нет на странице первоначально?

Question

[Илья]

Я спарсил поисковую выдачу каталога библиотек. Теперь мне нужно извлечь из неё

Основное заглавие:

Как обычно, смотрю

код в консоли:

и делаю запрос:

echo $xpathSKBM->query('//div[@class="tabdivs"]/div[@class="adddiv"][1]/p[1]/text()')[0]->nodeValue;

Но ничего не выводится. Разбираюсь почему.

При первой загрузке страницы у книги

не открыта выпадайка:

Она пустая:

Она заполняется данными после клика на псевдоссылку «Подробнее». Получается, в момент нажатия вызывается метод seeAdd.

Код псевдоссылки:

Описание метода в default11.js:

function seeAdd(o, ind, c, rdb)
{
	typework = "";
	addid = "add" + c;
	if (take(addid).n.style.display == 'none')
	{
		if (take(addid).n.innerHTML == '')
		{
			take(addid).n.innerHTML = '<div class="progress small"><div></div></div>';
			var gArr = new Array();
			var querylist = new Array();
			gArr.push(["_action", "execute"]);
			gArr.push(["_html", "stat"]);
			gArr.push(["_errorhtml", "error"]);
			querylist.push(["_service", "STORAGE:opacfindd:FindView"]);
			querylist.push(["_version", "2.3.0"]);
			querylist.push(["session", numsean]);
			var tmp = /\\{1,}/g;
			if (tmp.test(ind))
				ind = ind.replace(tmp, '\\');
			querylist.push(["iddbIds[0]/id", ind]);
			var db = numDB;
			if ((typeof rdb != "undefined") && (rdb != ""))
			{
				db = rdb;
			}
			querylist.push(["iddbIds[0]/iddb", db]);
			var dboutff = outformfull;
			if ((typeof dbs[db] != "undefined") && (typeof dbs[db].outformfull != "undefined"))
				dboutff = dbs[db].outformfull;
			querylist.push(["outform", dboutff]);
			querylist.push(["_history", "yes"]);
			querylist.push(["$iddb", db]);
			if (typeof _localiddb != "undefined")
				gArr.push(["querylist", prepareQueryString(querylist, _iddb)]);
			else
				gArr.push(["querylist", prepareQueryString(querylist, db)]);
			ajaxToRCP(gArr, displayAdd);
		}
	}
	showHide2(o, addid);
}

Как спарсить «Основное заглавие»?

Comments

[Модератор]

Илья убирайте скрины под спойлер (предпоследняя кнопка в редакторе).

[Илья]

Модератор, спасибо, убрал.

[Модератор]

Илья, спасибо.

[Антон]

Во вкладке network посмотрите куда уходит запрос из функции ajaxToRCP() - скорее всего вам проще будет делать такой же запрос в скрипте и разбирать уже его ответ.

[hOtRush]

Все правильно сказал Антон, слать самому аякс запрос или использовать chrome headless, но это посложнее немного будет.

[Илья]

Антон, спасибо, но как это сделать?

[Антон]

Илья,

spoiler

Ну средствами разработчика вы уже умеете пользоваться, вот там есть вкладка network (1). После загрузки страницы очищаете её (значок стаянка запрещена), включаете фильтр XHR (2) и кликаете по ссылке "подробнее". Там появится запрос, кликаете по нему - появятся данные о нём. Обведены параметры, посылаемые на сервер. По клику на Response (3) можно посмотреть что вернул сервер. Ваше задача будет понять как формируются параметры - вы js уже нашли - надо будет повторить алгоритм в php и отправить точно такой же запрос, а потом после получения - распарсить ответ (то, что во вкладке Response)

[Вася]

Я твой фанат !

[Илья]

Антон, зачем очищать Network?

Спасибо вам, я получил ответ. Но как из него вывести заглавие книги?

require '../vendor/autoload.php';

use GuzzleHttp\Client;

// Инициализируем класс для работы с удалёнными веб-ресурсами
$client = new Client();

// Делаем запрос на страницу выдачи, получаем ответ
$response = $client->request('POST', 'http://skbm.nekrasovka.ru/request', [
    'form_params' => [
        '_action' => 'execute',
        '_html' => 'stat',
        '_errorhtml' => 'error',
        'querylist' => '<_service>STORAGE:opacfindd:FindView[separator]<_version>2.3.0[separator]<session>26184[separator]<iddbIds[0]/id>SKBM-SZAO-RU/CBS_SZAO/IBIS/117439[separator]<iddbIds[0]/iddb>1[separator]<outform>FULLFORM[separator]<_history>yes[separator]<$iddb>1[separator]<userId>ADMIN[separator]<$basequant>2391872[separator]<$flag45>yes'
    ]
]);

// Выводим ответ
echo $response->getBody();

Ответ

[Антон]

Илья, Network очищать, чтобы проще было найти нудный запрос. Если у вас сразу получилось - то это хорошо.
Заглавие из ответа можно получить либо регуляркой, либо просто перебирая строчки и ища ту, в которой есть текст "<Основное заглавие:>", либо если это всегда 18 строка в ответе - то просто её брать. Посмотрите несколько книжек руками и найдите закономерность как заглавие в ответе располагается, от этого и пляшите.