Какой парсер HTML на PHP выбрать?

Question

[Дмитрий Б]

Доброго времени суток. Подскажите пожалуйста, какой лучше парсер HTML выбрать?
Мои варианты:

1. Simple HTML DOM
Удобный скрипт, но поддержка XPath частичная
2. DomDocument
Мало о нём знаю, но читал, что поддерживает XPath в полной мере

Парсер будет использоваться регулярно, нужны большие возможности навигации по DOM. Может быть есть лучшие решения?

Answer 1

[Сергей Протько]

Если вам нужна производительность - один из приведенных вами вариантов. Насколько я помню первый вариант так же поддерживает xpath.

Если же вам нужна скорость и удобство - https://github.com/paquettg/php-html-parser (так же можно поискать еще варианты). Хотя опять же, возможно вариант с xpath будет даже удобнее.

Comments

[Дмитрий Б]

Спасибо, да, на самом деле поддерживает! Сейчас подробнее узнаю

Answer 2

[Дмитрий Б]

В итоге использовал DomDocument в связке с XPath, всё прошло замечательно :)

Answer 3

[Григорий Васильков]

Рекомендация Протько устарела.

Парсер парсит с ошибками, стоит в тексте ссылки попасться < и парсинг уже пошел по трубам, и хотя simple_html_dom заставляет шторм лагать больше, т.к. не поделен на неймспейсы, но работает быстрее, проверено на сайте с 50 тысячами страниц, субьективно simple делал быстрее.

Сейчас буду искать новый.
Пока попробую этот: `dimabdc/php-fast-simple-html-dom-parser`

Comments

[Григорий Васильков]

Нет, тоже плохой.

Делает те же ошибки, что и XPath и другие парсеры, стоит напороться на кривой символ, всё летит к чертям, эрроры и варнинги.

Можно вычистить html с помощью tidy, но это затраты времени, а парсеры должны работать быстро.

Короче, фаворитом был и остается https://simplehtmldom.sourceforge.io/

Кому детали, напишите в телеграм @gzhegow, покажу тесты которые парсеры у меня не прошли. А вот фаворит прошел.

Вот этот не прошел никто:

$document = str_get_html(''
    . '<ul class="a">'
    /**/ . '<li>a1</li>'
    /**/ . '<li>'
    /******/ . '<li>b1</li>'
    /******/ . '<li>b2</li>'
    /**/ . '</li>'
    /**/ . '<li>a2</li>'
    /**/ . '<li>'
    /******/ . '<li>b3</li>'
    /******/ . '<li>b4</li>'
    /**/ . '</li>'
    . '</ul>'
);

Парсеры упрямо начинают думать, что в <li> нельзя положить <li> и думают что там на два элемента больше. Зарраза, их задача - ПАРСИТЬ, а не думать.

[Дмитрий Б]

Спасибо )) Я по итогу использовал https://symfony.com/doc/current/components/dom_cra... ))

[Григорий Васильков]

Дмитрий Б, блииин, а сколько не гуглил симф-пакет! Конечно еще этот надо проверить!

[Григорий Васильков]

Симфонийский не проходит тест (это обертка, но под капотом - он)

По их рекомендации установил и "masterminds/html5" (написано - если не хотите долбаться с ошибками \DOMNode - установите) - и все равно то же самое. Правда там написано, что он будет его использовать если Doctype указан html5... Короче такой себе плУгин, где гарантия, что разработчик всё правильно делал, парсим мы обычно шлако-сайты.

$document = $dom->loadHtmlOrFail(''
    . '<div>'
    /**/ . '<a href="#">2020 &lt; </a>'
    /**/ . '<a href="#">2020 < </a>'
    . '</div>'
);

$domDiv = $dom->first($document, 'div');

$domDivChild = $dom->child($domDiv, 1);
$this->assertEquals('<a href="#">2020 < </a>', $domDivChild->ownerDocument->saveHtml($domDivChild));

// Failed asserting that two strings are equal.
// Expected :'<a href="#">2020 < </a>'
// Actual   :'<a href="#">2020 </a>'

А вот simple_html_dom этот тест проходит.

Answer 4

[Константин Кияшко]

Simple HTML DOM
Удобный скрипт, но маленький выбор селекторов

Простите, не соглашусь
библиотека понимает, например, такое
$css = "div.class1 p.class2 a" - элемент a, который внутри p class="class2", который внутри div class ="class1"
при этом между указанными элементами могут быть еще элементы.
Селекторы библиотека понимает любые, с чего вы взяли "маленький выбор селекторов".
С Simple HTML Dom есть некоторый гемморой на старте, также нужно отслеживать ситуацию, когда элемент не найден, но нареканий у меня нет.

Answer 5

[Вадим]

Не соглашусь, что у Simple HTML DOM маленький выбор селекторов. Главный его недостаток - это низкая производительность, это один из самых медленных парсеров.

Comments

[Дмитрий Б]

Да, всё таки я не прав, сделал поспешные выводы