Как лучше выполнить импорт XML (8 Gb) в таблицу postgresql?

Question

[VVizard]

Нужно загружать файлы ФИАС, а точнее нового ГАР (https://fias.nalog.ru/Updates) в базу postgresql.
Особенность этих файлов это большой размер XML (до 7 Gb).

Сейчас загрузка реализована для MS SQL через sqlxmlbulkload, 90 Gb загружается за 4,5 часа.
Реализовано там все достаточно просто, есть XSD с доп аннотациями, нужно указать эту XSD + XML и все.

В рамках импортозамещения нужно перейти на PG начал изучать вопрос и ничего подобного не нашел, попадется только вариант когда мы считываем XML в память или в таблицу и работаем с ним череp xpath.

В MS SQL тоже есть такой подход но там он не сработал на больших файлах, думаю что и с Pg будет такая же проблема.

Если у кого то есть опыт работы с PG и большими XML на PG буду благодарен за любую информацию.

Answer 1

[Владимир Коротенко]

Зайдите в мой гит. Там есть этот проект , имплементируйте плагин для постгрее.

Comments

[Владимир Коротенко]

В память загонять не нужно. Просто не хватит

[Леонид]

А какой у вас адрес github?

[Владимир Коротенко]

Леонид, https://github.com/vkorotenko/FiasServer

Answer 2

[ky0]

Если XML более-менее "плоский", то можно распарсить его вне СУБД (с помощью того же xmlstarlet, например) и превратить, например, в CSV - после чего загружать кусками через COPY, в том числе параллельно.

Comments

[Владимир Коротенко]

Вы с этим файлом не работали там просто не получается

[ky0]

Владимир Коротенко, мы с этим файлом не работали - именно поэтому предложение начинается с "если", давая возможность решить похожий вопрос и другим людям, а не только ТСу.

[Владимир Коротенко]

ky0, там есть свои тонкости. Как уже сказали некоторые Файлы до 31 гига. Размеры словарей до 400 мегабайт, опять же пакетная вставка, но учитывайте что словари нужно обновлять. В общем задача не тривиальная,