Подскажите парер XML для C++ для разбора больших файлов (1Гб+)

Question

[un1t]

Нужно чтобы парсер не загружал в память весь файл, а читал его постепенно. Чем стандартнее библиотека тем лучше. Т.е. если что-то такое есть в стандартных библиотеках STL или Boost, то вообще идеально, если нет, то может быть какие-то более менее стандартные библиотеки для Linux умеют это делать. И еще должен работать быстро.

Answer 1

[mejedi]

Любой SAX парсер подойдет.

Comments

[un1t]

Любой не подойдет нужен быстрый. Попробовал libxml2, он не достаточно быстрый.

[mejedi]

Можете конкретизировать, что означает «достаточно быстрый»? Например, обнародуйте время разбора вашего 1Гб файла при помощи libxml и желаемое время.

Answer 2

[becks]

Ищите по запросу SAX-парсер. На ум приходит Xerces, expat, но много всяких.

Comments

[becks]

Вот, нашел у себя в закромах:

lars.ruoff.free.fr/xmlcpp/

[AxisPod]

Нда, xerces я бы не стал советовать, слишком тяжел для такой простой задачи. Уж именно expat.

[un1t]

Судя по вот этим бенчмаркам pugixml.org/benchmark/ — Xerces и expat медленнее чем libxml2 sax.

[becks]

There are four test files, cathedral.xml (1 Mb), employees-big.xml (10 Mb), house.dae (6 Mb) and terrover.xml (16 Mb).

Все может быть размеры файлов то не особо большие.

Answer 3

[Biga]

Есть ещё libxml2 на C, он умеет SAX. Достаточно стандартен для линукса. Насчёт скорости не знаю.

Comments

[un1t]

То что стандартный это плюс, но хочется что-то побыстрее.

Answer 4

[Дмитрий]

Сильно зависит от задачи.
Если цель — разобрать все и потом долго ковыряться — то конечно, либа типа SAX, наиболее часто встречающийся вариант — libxml2.
Если же цель найти что-то конкретное, то быстрее всего imho — построчная обработка регулярками.

Comments

[AxisPod]

Что html, что xml не советовал бы парсить регулярками, да и при этом 1Гб файлик, регулярка посинеет.

[Дмитрий]

Внимательно читаем предыдущий текст. Построчная обработка регулярками.

[un1t]

Вы правы регулярками получается достаточно быстро. Еще более быстрый способ это прасить без регулярок стандартными строковыми функцями. Проверено на практике. Но что-то не хочется это писать и поддерживать.

Answer 5

[Ivaneo]

Возможно pugixml вам подойдет.

Comments

[un1t]

Посмотрел документацию, я так понимаю Pugixml загружает в память весь файл сразу. Это мне не подходит.