Как отрендерить и спарсить сайт на PHP?

Question

[Семён]

Я думаю известно, что есть сайты (amazon, aliexpress и т.п.), при парсе которых простым скачиванием html отсутствуют данные, добавляющиеся в браузере при загрузке страницы. Решение проблемы - headless браузеры. Казалось бы всё, но я не смог найти либы для пхп, которая всё это дело реализует. Искал весь день, экспериментировал с phantom, casper, headless chromium на голую и с непопулярными либами - ничего не получилось. Если есть тут те, кто знает как осуществить такой парс, то прошу указать на рабочие библиотеки.

Answer 1

[Денис Юрьев]

1. wkhtmltoimage (часть пакета wkhtmltopdf) раз два или прямо через exec(); ну или вообще модуль для php
   
2. chromium-headless раз два или так же через exec();
   
3. firefox-headless документация либу-враппер искать лень, но можно так же через exec();
   

ps: через puppeteer тоже идея имеет место быть, но для скриншота страницы, имхо, избыточно

Comments

[Семён]

Не можете подсказать как в wkhtmltopdf получить html файл? Не нашёл в доках как это делается

[Денис Юрьев]

Семён,

wkhtmltopdf <путь, имя исходного файла.html> <путь, имя выходного файла.pdf>

если через shell_exec/exec

wkhtmltoimage аналогично

https://wkhtmltopdf.org/usage/wkhtmltopdf.txt - все параметры, их дофига)

[Денис Юрьев]

Семён, уточните, что вы имеете ввиду "получить" html? то есть сделать дамп DOM?

тогда лучше всего хром подойдет

shell_exec("chromium-browser --headless --disable-gpu --dump-dom https://qna.habr.com/ > /path/to/test.html");

или

$html=shell_exec("chromium-browser --headless --disable-gpu --dump-dom https://qna.habr.com/");

я изначально подумал что под "рендером" вы имеете ввиду получить скриншот страницы)

Answer 2

[d-sem]

Лучше всего - поднять на ноде https://github.com/puppeteer/puppeteer и связать его по API с проектом на PHP.