Какой парсер самый быстрый?

Question

[hrvasiliy]

Планируется получать информацию с сайтов CURL'ом или PhantomJS'ом (если у вас имеется предложение лучше, буду рад услышать его) и ее требуется чем-то обрабатывать, регулярные выражения не рассматриваются. Пользовался раньше PHP Simple HTML DOM, но эта библиотека неспособна обрабатывать огромные страницы, да и не уверен в ее скорости. Не могли бы вы посоветовать какую-нибудь мощную и легкую библиотеку для обработки полученной информации?

Comments

[Igor Belikov]

А почему отказываетесь от регулярных выражений? Ведь с помощью них можно очень гибко и быстро доставать нужные элементы.

[hrvasiliy]

Потому что имеются трудности в их понимании.

[Igor Belikov]

hrvasiliy: К сожалению это не должно быть причиной, из-за которой нужно отказываться от способа. Там нет ничего сложного, уделите несколько часов и вы поймете от чего отказались.

[Алексей Уколов]

Igor Belka: потому что html нельзя парсить регулярными выражениями - stackoverflow.com/questions/1732348/regex-match-op...

[hrvasiliy]

Igor Belka: Скажите, то есть по вашему, самый быстрый способ обработки полученной информации - это регулярные выражения?

[Павел Тетюев]

hrvasiliy: Дак любая библиотека будет дольше и тяжелее чем регулярки. И библиотеку тоже надо будет "понять"

[Igor Belikov]

hrvasiliy: Думаю, что быстрее не будет, так как чтобы использовать какой конструктор типа Simple HTML DOM, то он для начала должен получить весь документ, далее обработать его в объект и только потом вы сможете по нему ходить.

Так как я подразумеваю, что автору необходимо будет получать именно определенные участки, в которых хранятся нужные ему данные, то этот способ будет оптимальным.

[hrvasiliy]

Igor Belka: Хорошо, ваш вариант обработки информации я понял. Спасибо! Скажите, а что по поводу методов получения информации? CURL и PhantomJS хорошие? Может чего еще посоветуете?

[Igor Belikov]

hrvasiliy: Советую CURL по причине большой скорость и доступности. Если требуется быстрая обработка нескольких проектов одновременно, то используйте многопоточность CURLа.

[hrvasiliy]

Igor Belka: Еще раз спасибо, но CURL не умеет обрабатывать страницы сгенерированные JS.

Answer 1

[evnuh]

Задача стоит - быстро спарсить html страницу. Додумываю условие - страницу определённую, контент которой известен и более менее не меняется. В данном случае ответ очевиден - принимать html как текст и работать с ним как с текстом. IndefOf, substr и т.д. Это самый быстрый вариант.
За ним по производительности идёт regexp, он более удобен для написания, но не более правильный, чем ковыряться в строке.
Самым правильным идёт использование библиотеки. Потери в производительности здесь колоссалльные, но зато правильно и безопасно.

Comments

[hrvasiliy]

Дело в том, что контент не статичный. Соответственно скорость очень нужна

[evnuh]

hrvasiliy: имелось в виду формат страницы не меняется. Что меняются данные это понятно.

[hrvasiliy]

evnuh: А по какой причине RegExp не особо правильный?

[evnuh]

hrvasiliy: вам уже давали ссылку

[Назар Мокринский]

hrvasiliy: Скорость не очень нужна? А судя по заголовку как раз она вас и беспокоит.

[evnuh]

Назар Мокринский: не так прочитал, он как раз пишет, что она нужна. Но, в общем, тут бесперспективняк, судя по всему)

Answer 2

[Igor Belikov]

Использование CURLа и его многопоточности + разбор регулярным выражением нужных частей.
Большой список программных парсеров.

Answer 3

[Viktor Vsk]

Самый производительный "HTML-парсер", вероятнее всего, это XSLT. Например, Xalan или Saxon
Дополнительно:
habrahabr.ru/post/203004
en.wikipedia.org/wiki/Category:XSLT_processors

P.S.
Но если у вас будет много страниц небольшого размера, то парсер не играет никакой роли, т.к. задержка сети будет много выше.

Answer 4

[Muhammad]

https://github.com/imangazaliev/didom

Answer 5

[beduin01]

forum.dlang.org/thread/wmnchdvldefdguldpfzu@forum....

Answer 6

[impass]

Если размер обрабатываемых страниц не измеряется десятками или сотнями мегабайт и доступная память не сильно ограничена, то штатного DOMDocument, использующего нативную libxml, вполне должно хватить.

регулярные выражения не рассматриваются

Говоря о выборке из XML/HTML всегда в первую очередь вспоминайте об XPath. В PHP в сочетании с DOMDocument пригодится DOMXPath.