Как импортировать большой xml файла в PostgreSQL (sqlalchemy)?

Question

[Павел]

Сейчас я делаю вот так:

class XmlHandler(ContentHandler):

    def startElement(self, name, attrs):
        if name == 'Objects':
            print('start')
        elif name == 'Object':
             self.obj = attrs['param]'

    def endElement(self, name):
        if name == 'Objects':
            print('end')
        elif name == 'Object':
             self.obj.save()

xml.sax.parse(xml_path, XmlHandler())

Что, естественно, очень медленно.
И соответствующие вопросы:
1. Как сделать быстрее?
2. Как вычислить какие операции конкретно этого участка кода забирает больше всего процессорного времени?

Answer 1

[Павел]

Я как минимум не прав, что показал не всю реализацию метода.
В endElement в конце у меня был gc.collect()

Профайлер подсказал, что первая проблема в нём
pix.toile-libre.org/upload/original/1503120966.png

После
pix.toile-libre.org/upload/original/1503121255.png
поиск объекта в базе

class Obj(Model):
    id = Column(UUID, primary_key=True)

class XmlHandler(ContentHandler):
    def __init__(self):
        pass

    def startElement(self, name, attrs):
        if name == 'Objects':
            print('start parse')
        elif name == 'Object':
            aoid = attrs['ID']
            self.obj = Obj.query.filter_by(id=id).first() # это 2-ое узкое место
            if not self.obj:
                self.obj = Obj()


    def endElement(self, name):
        if name == 'Objects':
            print('end')
        elif name == 'Object':
        	self.obj.save()
        gc.collect() # это было 1-ое узкое место

xml.sax.parse(xml_path, XmlHandler())

Что можно с этим сделать?

Comments

[Павел]

Pavel Denisov: немного ускорил

if (self.rows % self.LOG_EVERY_N) == 0:
            db.session.add_all(self.objects)
            db.session.commit()
            self.objects = []

но вёс портит filter_by

[Павел]

Pavel Denisov: около 1,5 млн записей.
Это таблица Addr из ФИАС. Какие-то записи могут быть новыми, какие-то могут обновиться. Поэтому приходиться проходить по всем записям.

[Павел]

Pavel Denisov: да. Поле является первичным ключом и ещё имеет вот такой индекс

# aoid
db.Index('id_idx', id, postgresql_using='btree'),

Кажется понял мысль. Искать объекты в базе не на каждый element, а на каждый 100, например.

Что будет, если я сделаю db.session.add_all(self.objects) для существующих объектов в базе? Они будут обновлены?
Либо делать session.merge(obj)

[freeExec]

Павел: А если сразу всё без проверки сложить во временную таблицу, а уже потом пройтись по базе с UPDATE и определить где там старое, новое и т.д.