Как парсить AJAX сайты в нативном PHP без расширений?

Question

[zeuss56]

Интересна возможность использования движка V8 на нативном PHP7. То есть обычная PHP библиотека. Может быть аналог V8, не полноценный, но достаточный для рендеринга веб-страниц и последующего индесирования (поисковой движок, да, очередной велосипед!).

UPD [переформулировал]:

Если вы никогда не слышали про устройство поисковых движков, парсинг, краулеринг, AJAX, ну не надо называть меня школьником. Если вы не признаёте native PHP не надо называть меня говнокодером, извращенцем, моральным уродом и т.д.

Делаю поисковой движок.
В распоряжении PHP сервер. Расширения или дополнительное ПО на сервер не устанавливаю. Хочу парсить контент сайтов в том же виде, что у клиента - для этого нужна поддержка JavaScript. Банальный вариант, где без JavaScript никак - сайт подгружает контент через AJAX лоадер и не поддерживает noscript контент. Как единственно верный вариант предполагаю библиотеку, которая исполняет JavaScript и выдаёт в результате html+css, которые скрипт дальше обрабатывает.

Comments

[Vitaliy]

чем не вариант запустить nodejs и к нему обращаться за результатом из РНР?

[zeuss56]

Виталий Столяров: не вариант, ну я же написал без модулей, сис. вставок, на нативном пхп

[zeuss56]

Виталий Столяров: Эти ваши варианты с модулями или дополнительным по прекрасно гуглятся и я бы не задавал вопросов

[Vitaliy]

Вадим Егоров: просто такие критерии обычно только вредят

[zeuss56]

Виталий Столяров: Мне нужен гибкий код, который бы работал на любом сервере и не требовал ничего, кроме AMP сервера

[zeuss56]

Виталий Столяров: Я не поклонник модулей да и в некоторых случаях их установить нельзя - например, шаред хостинг :)

[Vitaliy]

Вадим Егоров: https://github.com/phpv8/v8js

[Vitaliy]

Вадим Егоров: есть только расширение из PECL, выше ссылка

[zeuss56]

Виталий Столяров: Гугл прекрасно выдаёт это расширение первой ссылкой, но расширение равно как и модуль (здесь синонимы, но разницу понимаю), я об этом и говорил, они мне не нужны.
Мне действительно интересно, почему на нативном php нельзя хоть как-нибудь косячно отработать JS для получения контента. Мне нужен только текст на странице для индексации сайтов для тех случаев, когда сайт не отображает контент без JS (AJAX лоадер; привет кепу). Собственно, поисковик пишу исключительно для опыта кодинга, поэтому покупать VPS не хочется, свой домашний сервер поставить можно, но работать будет с перебоями - причина личная.

[zeuss56]

Виталий Столяров: Я не выжимаю из вас ответ. Я надеялся, что кто-то мог слышать о чём-то подобном и вспомнить сейчас. Гуглить я и сам умею :)

[Vitaliy]

Вадим Егоров: выполнять JS код средствами чистого PHP это было бы безумно)) Думаю, единственным вариантом было бы делать replace нужных частей js кода (к переменным добавить $, document/window переопределить) но это было бы небезопасно

[zeuss56]

Виталий Столяров: о безопасности речь не идёт - код можно исполнять в sandbox'e, это другая тема. А заменить все функции и конструкции replace'ами превратив всё в php-код - легче написать полноценный парсер JS, качество исполнения будет не очень, ведь исполнение JS должно соответствовать стандартам, иначе к чему весь цирк. Это можно попробовать. Но я всё-же склоняюсь к конвертерам/компиляторам с последующим допиливанием. Потому что я не в состоянии написать парсер JS с нуля, соблюдающий все стандарты.

[Vitaliy]

Вадим Егоров: вот и ответ на вопрос сводится к тому, что на чистом РНР (с указанными критериями) это будет цирк

Answer 1

[DevMan]

ответ прост: никак, никому не нужно писать интерпретатор js на php.
кому нужно, те пользуют либо сторонние средства, либо пыхо-расширение v8js.

Comments

[zeuss56]

вы опоздали - я это уже понял во время обсуждения чуть выше
тогда другой вопрос - могу ли я портировать headless браузер с полноценного языка на PHP, это автоматом скомпилить (сконвертить) можно или придётся попыхтеть?

[DevMan]

Вадим Егоров: придется пыхтеть. с неизвестным результатом.

[zeuss56]

DevMan: не знаю, перерасту ли я когда-нибудь эти ужасные идеи, но пока буду писать парсер JS на PHP с нуля, так как с ошибками такой сомнительной компиляции не справлюсь.

[zeuss56]

DevMan: К слову, stackoverflow.com/questions/6578132/php-headless-b... - миллионы таких тем.

[DevMan]

Вадим Егоров: да хоть 100500 миллионов.
никто в здравом уме не будет писать интерпретатор js на php. есть вагон времени? дерзай.

[zeuss56]

DevMan: А что на счёт PhantomJS? Не стоит так критично отзываться о людях, делающих такие вещи. Если 100500 тем - значит людям это нужно.

[zeuss56]

DevMan: Эх, плохо я вникал:

By default the PhantomJS library will look for the PhantomJS executable in the bin folder relative to where your script is running ~/bin/phantomjs

[DevMan]

Вадим Егоров: > Если 100500 тем - значит людям это нужно.
это значит что люди не видят/не знают других способов, и не вылазят за грани уютной пышечки. не более того.

> А что на счёт PhantomJS?
а что? вполне норм.

Answer 2

[Александр Аксентьев]

Не надо из php пытаться сделать браузер, он не для этого предназначен.
Однако для того чтобы индексировать сайты, рендерить их вообще не надо(зачем?).
Ваша задача получить контент(текст).
Для большинства сайтов достаточно этого.

А если нужно прям всё-всё поддерживать нужен "нормальный" браузер.

Вот свежая наработка от ларавела для тестирования
https://github.com/laravel/dusk

В комплект входят бинарники headless браузера, можно взять такое решение за основу, на большинстве систем должно заводиться из "коробки".

Comments

[zeuss56]

>нельзя просто так взять и загуглить ошибку
не согласен :) большинство ошибок именно так и решается. хотя некоторые тупят и идут сразу на форум
>Однако для того чтобы индексировать сайты, рендерить их вообще не надо(зачем?).
>Ваша задача получить контент(текст).
А если на сайте AJAX и он рассчитан на поддержку JS, без которого контент не появится? Только из-за этого и спрашиваю.

[Александр Аксентьев]

Вадим Егоров:
> нельзя просто так взять и загуглить ошибку
это у меня в профиле написал, если что, не часть ответа :)

> А если на сайте AJAX и он рассчитан на поддержку JS, без которого контент не появится? Только из-за этого и спрашиваю.
про это вторая половина ответа, и первая строчка ответа :)

[zeuss56]

Александр Аксентьев: судя по описанию этот dusk требует полноценного сервера. но зачем он мне тогда, если есть расширение JSv8 для PHP, которое при тех же условиях работает не хуже
вопрос то остаётся вопросом: Как парсить AJAX сайты на native PHP?

[Александр Аксентьев]

Вадим Егоров: это расширение вообще не для таких целей.

Сравниваете теплое с мягким.
Полноценный браузер с одним расширением которые только исполняет JS.

Как вы хотите на нем открывать ajax сайты?

>Как парсить AJAX сайты на native PHP?
ответ-то такой же: не надо делать из скриптового языка браузер, потому что не получится. Ну нет в нём таких средств просто даже для теоретической реализации Proof of Concept, не говоря уже про продакшн использование.

[zeuss56]

Александр Аксентьев:
>Ну нет в нём таких средств просто даже для теоретической реализации
Я тут хочу вас переубедить.
Если посмотреть абстрактно, то любой тьюринг-полноценный язык способен выполнить любой код, допустим, в режиме эмуляции, если не считать ограничения на время и память в PHP.
Например, написать на PHP ассемблер и исполнять любые бинарники, как тот же dusk.
Я не говорю, что нужно брать и эмулировать систему с браузером на слабеньком PHP, я лишь хочу сказать что вы не правы - нет ничего невозможного для тьюринг-полноценного языка, предназначен он для того или нет. Другое дело сложность реализации. Во мне играет азарт и если ничего подобного нет, буду делать, а пока смотрю, нет ли чего такого уже.

[Александр Аксентьев]

Вадим Егоров: так вы определитесь шашечки или ехать...

Нужен эмулятор браузера, а не асм или "система с браузером".

Браузер это разбор и исполнение: html css js
На CSS можно забить.
JS допустим будет выполняться через v8js
HTML "разобрать" его ничего не даст, оно и не нужно.
Зато запустить v8js в контексте HTML кода, чтобы JS выполнился как бы на странице и работал с ней, вот это уже что-то похожее на браузер.
Я не представляю как(и на**я) это можно сделать на php.
По сути нужна своя виртуальная машина для JS и v8js можно выкинуть т.к. оно никак с htmlом взаимодействовать не будет.

[zeuss56]

Александр Аксентьев:
>Нужен эмулятор браузера, а не асм или "система с браузером".
Я подчеркнул, что это грубый пример, который не имеет отношения к практике.

>На CSS можно забить.
Не совсем. Он влияет на отображение - display: none;, opacity: 0; и т.д. Нельзя разделять JS, HTML и CSS. Они влияют друг на друга. А вдруг логика JS завязана на свойствах CSS? Мало ли, какие извращения попадут в индекс.

>По сути нужна своя виртуальная машина для JS ...
Вы абсолютно правы
>и v8js можно выкинуть т.к. оно никак с htmlом взаимодействовать не будет.
Я полагал что v8js сможет работать с html-контекстом. Но v8js - расширение и это уже не важно.

На счёт JS VM я очень надеюсь что можно связать V8 или другой движок с кодом PHP, например, компилятором на подобие C++ to PHP, хоть это сомнительный метод. В общем не хочу писать с нуля, а нормальных способов портирования ПО на PHP не знаю.

Answer 3

[Константин Б.]

Ну так сделай шаблоны на PHP для сервера и на JS для клиента и будет тебе счастье. Подучишься или подкопишь средств на полноценный сервер и тогда соеденишь их вместе.
Если честно ваш вопрос похож на вопрос школьника, который либо не знает как, либо у него нет денег на VPS/VDS сервер. Других предпосылок искать костыли для создания костылей я не вижу.

Comments

[zeuss56]

Вы наверно не туда написали
Или не прочитали вопрос
Потому что текст никак не вяжется
Или я вас не понимаю

[Константин Б.]

Вадим Егоров: все я туда написал. Да еще и как правильно. Ты действительно школьник который не воспринимает ответы которые его не устраивают. Повторю еще раз. PHP не может самостоятельно выполнять JS. PHP это PHP, а JS это JS. Они не написаны один на другом. Они не являются друг другу хоть кем-то. и если тебе нужно выполнить. Самая простая либа это V8. проще некуда. Если тебе нужно сгенерировать контент на севрвере так и используй PHP. если идет AJAX отдавай JSON и генерируй JS в браузере. НУ ИЛИ НА САМЫЙ КРАЙНИЙ СЛУЧАЙ, НАУЧИСЬ ФОРМУЛИРОВАТЬ СВОИ МЫСЛИ ПРАВИЛЬНО. ПОТОМУ КАК К ТВОЕМУ ВОПРОСУ ВСЕ ОТВЕТЫ ПРАВИЛЬНО НАПИСАНЫ.

[zeuss56]

Перечитайте вопрос. Я делаю очередной поисковой движок (скобки тоже нужно читать)
Делаю поисковик на PHP. И мне нужно получать контент в том же виде, в котором он отобразится у пользователя. Некоторые сайты не отображаются вообще, если не работает JavaScript, AJAX loading называется. Могу отправить вас в википедию. Так что вы там про школьников говорили, Kostik_1993 ? Оскорбляете не прочитав вопрос. Я, конечно, не обижаюсь, я действительно ещё в школе, но это не повод быть злым. Холивар на эту тему.

[Дмитрий Евграфович]

Вадим Егоров: Ах, эта романтизация запада. Тут одни грубияны, школьником обзывают, не то что там - задашь вопрос и добрые программисты на розовых пони сразу мчатся рассказать, как написать поисковый движок на php... но вообще-то на стаке вас точно также окрестили бы школьником и ткнули в неразумность вашего подхода https://habrahabr.ru/post/220971/