Как на Python распарсить большой XML файл (>500Мб) содержаший ошибки?

Question

[un1t]

Условия

1) Есть большой XML файл. Соотвественно заргужать его весь в память не подходит.

2) Файл содржит ошибки, напрмер внутри тегов может быть неэкранированные html теги, не закрытые.

lxml и sax умеетю парсить постепенно читая файл, но валятся на незакрытых тегах внутри нужных нам тегов

BeautifulSoup не валиться на незакрытых тегах, но похоже что он загружает весь файл в память сразу же.


Есть ли готовые решения подходящие под данные условия?

Answer 1

[egorinsk]

Если файл XML содержит ошибки, то это уже не файл XML.

Answer 2

[DmZ]

lxml в варианте «распарсить любой ценой» тоже не проходит?

parser = etree.XMLParser(recover=True, huge_tree=True)

В этом режиме он будет пытаться обойти незакрытые теги и невалидный XML на сколько у него хватит ума.

Comments

[DmZ]

from lxml import etree

parser = etree.XMLParser(recover=True, huge_tree=True)
tree = etree.parse("file.xml", parser)

[un1t]

Попробовал этот вариант. Ошибок не выдает но парсит элементы только до незакрытого тега.

[DmZ]

Он парсит все, просто остальной документ находится внутри этого самого тега — будет каша, так как XML изначально не валидный.
Пример:

>>> from StringIO import StringIO
>>> from lxml import etree
>>> xml = "<tag1><tag21><p></tag21><tag22></tag22></tag1>"
>>> parser = etree.XMLParser(recover=True, huge_tree=True)
>>> tree = etree.parse(StringIO(xml), parser)
>>> print etree.tostring(tree, pretty_print=True)
<tag1>
  <tag21>
    <p/>
    <tag22/>
  </tag21>
</tag1>

Парсер пытается сделать все что может чтобы получить хоть какой-то XML.
Или если добавить текста, то многое уйдет «под» первый не закрытый тег:

>>> xml = "<tag1><tag21><p>text<p>text2</p><p>text3</tag21><tag22></tag22></tag1>"
>>> tree = etree.parse(StringIO(xml), parser)
>>> print etree.tostring(tree, pretty_print=True)
<tag1>
  <tag21>
    <p>text<p>text2</p><p>text3</p><tag22/></p>
  </tag21>
</tag1>

Чтобы этого не происходило, можно к документу написать DTD — структуру документа.

[DmZ]

Например перенесем наш инвалидный пример в файл text.xml и скажем что tag21 не должен парсится вообще:

<?xml version="1.0"?>
<!DOCTYPE tag1 [
<!ELEMENT tag1 (tag21, tag22)>
<!ELEMENT tag21 (CDATA)>
<!ELEMENT tag22 (#PCDATA)>
]>
<tag1>
  <tag21>
    <p>text
    <p>text2</p>
    <p>text3
  </tag21>
  <tag22>
    <br/>
  </tag22>
</tag1>

А теперь заставим lxml прочитать уже с учетом структуры:

>>> from lxml import etree
>>> parser = etree.XMLParser(recover=True, huge_tree=True, load_dtd=True)
>>> tree = etree.parse("test.xml", parser)
>>> print etree.tostring(tree, pretty_print=True)
<!DOCTYPE tag1 [
<!ELEMENT tag1 (tag21 , tag22)>
<!ELEMENT tag21 (CDATA)>
<!ELEMENT tag22 (#PCDATA)>
]>
<tag1>
  <tag21>
    <p>text
    <p>text2</p>
    <p>text3
  </p>
  <tag22>
    <br/>
  </tag22>
</p>
</tag21></tag1>

Согласитесь что уже гораздо лучше.

Но так как структуру документа знаете только вы, то только вы сами должны разобрать поломанный XML пусть и с помощью сторонних программ. Никакие программы не будут обладать достаточной эвристикой чтобы распарсить поломанный XML так как хочется именно вам.

Answer 3

[skomoroh]

можно сначала представить что xml — это обычный текстовый и файл и привести структуру тегов в порядок функциями работы со строками, а уже потом открывать его как xml

например можно заменить все html теги на «нетеги»

sed -e 's/<p/\& lt;p/g' -e 's/<\/p/\& lt;\/p/g' file.xml > new.xml

список всех html тегов гуглится

можно предварительно сравнить количество открывающих и закрывающих тегов

grep -o '<[^>]*>' file.xml |  cut -f 1 -d ' ' | sort | uniq -c

Comments

[skomoroh]

а уже после разбора привести html к первоначальному виду