Java. Каким способом объединить xml больших обьемов?

Question

[aidkz]

XML файлы 100мб-1гб, DOM-ом ошибка переполнения памяти (отключать -XX:-UseGCOverheadLimit, выдать больше памяти JMV, не вариант). Через StaX с нуля (читаем каждый xml и на лету создаем новый) не вариант. JAXB маршалинг-демаршалинг (слишком большой обьем, много классов скорее всего тоже по памяти полетит)? Какие еще есть способы, в какую сторону копать? (по возможности без фреймворков).
Заранее спасибо.

Comments

[Сергей Горностаев]

Смотря как объединить надо. Если это тупая склейка, то можно вообще без анализа xml обойтись, просто считываем файлы по очереди и пишем в один. Максимум, что может понадобиться - строковыми операциями обнаруживать открывающий и закрывающий корневой тег. Если надо данные интеллектуально перемешать с соблюдением иерархии тегов и значений атрибутов этих тегов, то можете ставить крест на задаче и поздравить того, кто когда-то выбрал формат xml.

[aidkz]

Да, это тупая склейка, но количество файлов не конечные. Как и писал выше, без проблем читаю файлы и StaX-ом с нуля делаю новый xml. Не хочется с нуля, хочу :) указать xml приемник, спозиционироваться на каком то элементе и начать добавлять. Ну не может быть так что бы это не было не возможно. Должны быть какие то средства.

[Сергей Горностаев]

aidkz: все xml-парсеры, кроме потоковых, сжирают памяти в несколько раз больше размера анализируемого файла. Это факт от которого никуда не деться.

[Alex XYZ]

aidkz: ну, тогда разрезать первый файл на две части и вставить в между ними второй? (Естественно, удалив окружающие элементы). Вопрос - как правильно спозиционировать точку разрезания? в лоб я бы вставил в первый файл в ноду, перед которой надо разрезать (есть ограничения, но поискать для исключения другие варианты) атрибут с таким guid, последовательность которого не встречается в файле, нашёл бы его текстовым поиском, отмотал бы на начало ноды и отрезал бы простым разрезанием файла.

Answer 1

[al_gon]

StaX+JAXB

Comments

[aidkz]

Спасибо, попробую.

Answer 2

[Odissey Nemo]

Если имеется в вижу, что есть множество мелких файлов XML общим объёмом 100Мб-1Гб, то применял следующие методы:
1. StringBuilder с заголовком, далее в него дописываю выдранные с помощью RegEx содержимые каждого из XML. В конце записываю в StringBuilder в шапку что требуется (например, число обработанных файлов), добавляю хвост интегрального XML - и вуаля.
2.Если не требуется шапку менять в конце работы, то открываю новый ZIP файл и пишу в его поток, который идёт сразу на диск (или в память, как требуется по ситуации). Получается ещё компактнее, раз так в 20-30 по памяти.
3. Можно и просто в буферизованный файловый поток писать, опять-же (см. пункт 2).

Выдирал всегда RegEx'ом только потому, что условия были простыми: найти начальный и замыкающий теги нужного куска XML. Если желательно форматирование, то можно слегка подшаманить при добавлении очередного найденного куска с дополнительными пробелами, табуляциями и \n(\r).