Как лучше обрабатывать большие XML фалы в Python?

Question

[Михаил]

Приветствую!

Столкнулись с проблемой обработки больших XML файлов в Python.
Есть файл объёмом 300Мб, в нём содержится 250 000 элементов <offer>...</offer>.

> cat yml_products_1.xml | grep -c '<offer '
250000

При обработке находятся не все элементы, а только 62719.

xmlprice.xml.root.xpath('count(shop/offers/offer)')
62719

Парсер вызывается следующим образом:

etree.XMLParser(resolve_entities=False, remove_blank_text=True, recover=True, huge_tree=True)

В чём может быть проблема?

Comments

[Михаил]

Да вроде файл выкачивается полностью, и в память влезает. Странно что 80% пропадает. Даже валидацию проходит.

Answer 1

[Astrohas]

boscoh.com/programming/reading-xml-serially.html