Как получить конечный HTML страницы средствами CURL?

Question

[romazhan]

Не получается получить конечный HTML страницы. Пробовал инициировать запрос со всевозможными заголовками, но возвращается (как мне кажется) страница начальной загрузки, JavaScript которой подгрузит главное содержимое.

Answer 1

[Алексей Уколов]

Средствами CURL - никак, CURL не исполняет javascript.
Ответ на вопрос как исполнить javascript при парсинге очень легко найти в поисковике даже по Тостеру, не говоря уже про весь остально интернет.

Comments

[romazhan]

Дайте пожалуйста ссылки по теме "Исполнение JS при парсинге страниц", а то не нашел

[Алексей Уколов]

Да пожалуйста: https://qna.habr.com/search?q=%D0%BF%D0%B0%D1%80%D...

Коротко: самый простой вариант на данный момент - это запускать на сервере Chrome в headless режиме.

[romazhan]

Юзнул https://github.com/chrome-php/chrome; при простом взятии html ($page->getHtml(10000);) сайт отдавал тот же HTML, который в случае с CURL. Получилось с перезагрузкой страницы перед извлечением html:
$page->evaluate('window.location.reload();')->waitForPageReload();.
Пипец.

[Алексей Уколов]

Ничего не знаю про эту библиотеку. Я либо puppeteer использую, либо просто напрямую исполняемый файл Хрома вызываю через exec.

Answer 2

[Дмитрий]

selenium webdriver

Comments

[romazhan]

Средствами CURL

[Дмитрий]

polak228, средства курл никак js исполнять не могут. вот вообще никак.
Но чисто теоретически, вы на php можете написать интепретатор js. То есть курлом дергаете - и код исполняете.

Answer 3

[zkrvndm]

Смотрим вкладку сетевых запросов и видим, что данные подгружаются вот с этого адреса:
https://www.dns-shop.ru/product/microdata/29dbba30...
Соответственно парсить надо именно этот адрес, а не основную страницу.

Comments

[romazhan]

Мне нужны именно характеристики, но откуда они подгружаются я не нашел, видимо сразу рендерятся на страницу. Решил с помощью https://github.com/chrome-php/chrome
После того как безголовый браузер открыл страницу, нужно выполнить JS который перезагрузит ее еще раз: $page->evaluate('window.location.reload();')->waitForPageReload(); и только после этого сайт отдаст HTML с нужными данными.