Beautiful Soup, html5lib или lxml?

Question

[Денис Егоров]

Предполагается использование для парсинга пользовательского контента. Соответственно, основное требование — корректная обработка битого HTML. Скорость не критична.

В документации lxml есть вот что:

1. BeautifulSoup Parser
2. html5lib Parser

Т.е. оно может парсить с помощью этих библиотек и возвращать дерево lxml. В доках html5lib же сказано:

Support for minidom, ElementTree (including cElementTree and lxml.etree), BeautifulSoup (deprecated) and custom simpletree output formats

Мне скорее всего нужно будет пробегаться по всему DOM-у, думаю SAX будет удобным. Даже так: пробежаться SAX-ом и построить новое дерево с применением определённых фильтрующих-преобразующих правил и типографированием текста.

Вот в раздумье. Подскажите что выбрать?

Answer 1

[kmike]

У html5lib самый корректный и надежный парсер (по спецификации), но она медленная. lxml быстрее всех и парсит достаточно хорошо. Вместо SAX можно iterparse использовать, это удобнее часто, и часто быстрее.

Comments

[Денис Егоров]

Мне скорость гораздо менее важна чем надёжность. Так как обрабатывать буду пользовательский контент (посты, комменты).

А насколько lxml хуже в плане обработки невалидного html? И знаете ли вы в каком там виде Beautiful Soap /html5lib парссеры — это просто урезаная версия существующих библиотек? Она поддерживается в актуальном состоянии или нет? Или нужно для их использования ставить эти либы?

[kmike]

Не знаю, насколько хуже, смотрите для своих задач. html5lib реализует «правильный» разбор, как браузеры (если браузер может что-то более-менее вменяемое показать для куска html, то и html5lib более-менее вменяемо его распарсит), а lxml и BeautifulSoup — это набор хаков на регекспах, пред-, пост-обработке и тд.

Но большинство документов lxml хорошо отпарсит.

В lxml BeautifulSoup-интерфейс требует установленной библиотеки BeautifulSoup и позволяет использовать парсер из BeautifulSoup, но возвращать результаты через API lxml. То же самое с html5lib в lxml — это интерфейс к html5lib.

[sim3x]

@kmike как ты не прав

Answer 2

[alternativshik]

lxml однозначно.

Answer 3

[pawnhearts]

вообще-то beautifulsoup какраз для битого html разрабатывался, незнаю почему от неё отговаривают.

Comments

[kmike]

Т.к. он медленнее, чем lxml, разрабатывается достаточно коряво (чего стоит удаленная с pypi версия, которая много кому что сломала), а парсит не лучше, чем lxml. И lxml, и BeautifulSoup могут отпарсить большинство невалидных html-документов, но они не справятся с разными «клиническими» случаями, т.к. они основаны, по сути, на наборе регекспов. html5lib справится со всем, но гораздо медленнее. Поэтому если нужна скорость, то лучше брать lxml, если нужна толерантность — то html5lib, а BeautifulSoup имеет смысл брать только если интерфейс BS привычнее или код уже с BS написан.

[Денис Егоров]

kmike вы уверены, что lxml работает на regexp-ах?

[kmike]

Нет, не уверен. Перед тем как писать, я код lxml почитал и нашел там много регекспов, что ввело в заблуждение.

Answer 4

[kmike]

@ur001, посмотрел еще раз код lxml, там есть много всяких регекспов, разбросанных по модулям ( github.com/lxml/lxml/blob/master/src/lxml/html/clean.py#L62 ), но я был не прав совершенно: парсинг html в lxml основан большей частью на парсинге xml.

Т.е. lxml считает, что html — это просто невалидный xml, который можно поправить. С теоретической точки зрения предположение неверное, для парсинга html5 и xml нужны совсем разные парсеры, но на практике часто работает.