На чем лучше и быстрее написать парсер (PHP)?

Question

[php-man]

Итак, конкурсанты:

1. phpQuery

+ поддерживает кучу селекторов
- невысокая скорость работы

2. Simple HTML Dom

+ хорошая документация
+ прост в изучении
- говорят об утечках памяти, т.е. большие файлы парсить не получится
- проблемы со скоростью парсинга

3. Nokogiri

+ высокая скорость работы
- ужасная документация

Перечислил все, что пришло в голову, возможно что-то упустил. Так что лучше выбрать?

Comments

[OVK2015]

А что парсить будете?

[Михаил]

В свое время использовал https://github.com/sleeping-owl/apist Это очень удобно. Сейчас, правда, проект не особо свежий.

[Crash]

о да, документация по nokogiri - это вообще ни о чем. Спасает только вики на гитхабе

Answer 1

[Muhammad]

DiDom: https://github.com/Imangazaliev/DiDOM

+ высокая скорость работы (сравнение с другими парсерами)
+ хорошая дока
+ большое количество поддерживаемых селекторов
+ самое главное - тесты

Простой пример:

$document = new Document('http://www.example.com/', true);

echo $document->first('title::text');

Чуть посложнее - парсим все ссылки:

$links = $document->find('a[href]::attr(href)');

var_dump($links);

Еще сложнее - получить адреса всех ссылок-картинок:

$links = $document->find('a[href]:has(img)::attr(href)');

var_dump($links);

Другие варианты:
- Symfony DomCrawler
- Zend Dom Query

Comments

[Андрей Филиппов]

Неплохо ) планируется ли добавление поддержки псевдокласса :not?

[Muhammad]

Андрей Филиппов: пока нет в планах

[Alex55]

До этого использовал phpQuery. Теперь, пожалуй, подсяду на DiDom. Спасибо :)

Answer 2

[xmoonlight]

PHP: multi-curl+regex+DOMXPath

Пример ( https://www.ibm.com/developerworks/ru/library/x-xp... ) :

$doc = new DOMDocument;
$doc->load('products.xml');
$xpath = new DOMXPath($doc);
$products = $xpath->query("/PRODUCTS/PRODUCT[SKU='soft5678']/NAME");
foreach ($products as $product)
   print($product->nodeValue);

Answer 3

[Ilya]

За годы парсинга данных я пришел к простому набору:

Curl + tidy + DOMXpath

Answer 4

[oe24y]

Вот еще jQuery-подобный парсер
PHP Simple HTML DOM Parser

Comments

[Crash]

про него все знают)

Answer 5

[Sergii Buinytskyi]

Первый вопрос, парсер чего?
И если я правильно понял задачу этого парсера, то зачем вы изобретаете велосипеды?

* cURL для получения контента - php.net/manual/ru/book.curl.php
Или вот еще нашел объектно ориентированную обертку https://github.com/php-curl-class/php-curl-class
* И, собственно, SimpleXML для разбора документа.

Оба компонента "из коробки" поставляются с PHP. Унифицированные, задокументированные и всем известные интерфейсы.

Или вот еще, компонент Symfony2 symfony.com/doc/current/components/dom_crawler.html

Answer 6

[Александр]

Очень крутая штука https://github.com/sleeping-owl/apist

Answer 7

[PooH63]

Я остановился на Nokogiri
Действительно высокая скорость работы(выбирал из тех же что и вы, только года 1.5-2 назад) и жрёт меньше памяти чем остальные. На счёт доки уже не помню, но разобраться не составило труда

Comments

[Crash]

разобраться можно на примерах, а нормальные доки есть только на гитхабе в качестве wiki

Answer 8

[bartmanskyi]

Надежнее всего на PhantomJs, так как это полноценный browser. Быстрее на phpQuery

П.с. О Simple HTML Dom пишут что работает с невалидным html. Не работает. Моей причиной перехода с него на phpQuery как раз это и было

Comments

[Константин Кияшко]

Да, не работает с поврежденным HTML - например, страница не до конца загрузилась. Simple HTML dom падает в такой ситуации намертво

Answer 9

[Ramzeska]

Добавлю в копилку и свой велосипед =)
https://bitbucket.org/ramzeska/html-dom-parser/wik...

Answer 10

[morsvox]

если нужно просто получить текст, самой высокой скоростью обладает DOMDocument phpQuery уступает в скорости примерно в 4 раза (по моим личным тестам), зато имеет кучу селекторов и в итоге для себя я выбрал ее

Simple HTML Dom очень медленный
Nokogiri чисто парсер, замены там нет и по сути тот же DOMDocument который оброс хаками, так что смысла в нем нет, если речь идет о скорости

Answer 11

[Light Air]

На чём быстрее

Ответ прост, быстрее на знакомом и/или хорошо документированном инструменте.

На чем лучше

Лучше на нативном. Точнее подсказал, уважаемый xmoonlight

Answer 12

[Андрей Саныч]

я просто оставлю тут ссылку https://github.com/Imangazaliev/DiDOM/wiki/%D0%A1%...

Выводы делайте сами

Answer 13

[webstorm]

https://github.com/FriendsOfPHP/Goutte
Отличный парсер с возможностью проваливаться вглубь по ссылкам. Простой и удобный интерфейс. В зависимостях у него в composer - е symfony/dom-crawler, так что если верить тестам товарища комментом выше, то производительность в сравнении средняя. Зато порог вхождения быстрый (выборки по css селекторам, получение данных и атрибутов через аналоги jQuery методов .text(), .attr(), а также перебор через .each())