Как коммитить транзакцию в цикле?

Question

[Сергей Горностаев]

Есть у меня проект, который начинался ещё с Django 1.4. Раз в час специальный management command парсит json-файл с примерно 200 000 записей и загружает их в базу. Естественно, это оооочень медленный процесс. Раньше его ускорению помогало ручное управление транзакцией: перед циклом транзакция начиналась и каждую 1000 записей коммитилась. Беда в том, что сейчас проект работает на 1.9, в котором такой способ больше не работает. В 1.9 есть декоратор и менеджер контекста transaction.atomic, который по понятным причинам в цикле неприменим, а пара transaction.set_autocommit(False) и transaction.commit() работает только на самых примитивных операциях, вроде последовательного создания в базе новых несвязанных записей. Не мой случай. Что делать? От ORM'а избавляться очень бы не хотелось.

Comments

[Roman K]

менеджер контекста transaction.atomic, который по понятным причинам в цикле неприменим

По каким?

[Сергей Горностаев]

Roman Kitaev: как? Обернуть им тело цикла? Тогда разом будут коммититься 200 000 записей. Обернуть кусок кода в теле цикла? Тогда будет коммититься каждая запись. А мне надо чтобы 1000 записей разом, потом ещё 1000, потом ещё и так 200 раз.

[sim3x]

Сергей Горностаев: а что за магическое число 1000?

[Roman K]

Сергей Горностаев: Боже, ну легче же некуда. while True, дальше with atomic(), дальше 1000 итераций.

[Roman K]

Сергей Горностаев: Кстати, зачем вообще тебе понадобились транзакции здесь?

[Сергей Горностаев]

Roman Kitaev: внутри блока with atomic() цикл по всему объёму данных? Так там 200 000 элементов, то есть 200 000 итераций. И коммит будет только после завершения всех 200 000. А мне надо коммитить каждую 1000 отдельно.

[Сергей Горностаев]

Roman Kitaev: для того, чтобы ускорить загрузку данных.
def auto_transaction(): #37 секунд
for i in range(10000):
name="String number %s" % i
Record.objects.create(name=name)

@transaction.commit_manually
def manual_transaction(): #2.65 секунды
for i in range(10000):
name="String number %s" % i
Record.objects.create(name=name)
transaction.commit()

[Сергей Горностаев]

sim3x: компромиссное между скоростью и надёжностью.

[sim3x]

Сергей Горностаев: надежность?
Если у тебя провалится 1 из 200к, что провалит 1000, то ты будешь импортировать ее отдельно?

Answer 1

[Roman K]

# data - твой датасет из 200000 элементов
while data:
    with atomic():
        do_something_atomic(data[:1000])
        del data[:1000]

Но я всё равно не понимаю, зачем тебе нужны транзакции. Не лучше ли в один инсерт засунуть 1000 значений?

Comments

[Сергей Горностаев]

Изменять данные по которым идёт итерация - очень плохая идея.

[Сергей Горностаев]

В каждой записи не просто строка или цифра. Там словарь, по которому создаются объекты, который в последствии записываются в базу. Сколько конкретно объектов в одной записи неизвестно. Взаимосвязи между ними тоже неизвестны.

[Roman K]

Сергей Горностаев: Окей, набирай в новый лист 1000, закидывай, очищай.

[Roman K]

Сергей Горностаев: Транзакции для этого юзать - не ок. Лучше bulk create в джанге.

[Сергей Горностаев]

Roman Kitaev: bulk create, как я уже сказал, мне не подходит из-за разветвлённости данных. А применение транзакций для ускорения - это старинный рецепт, который есть в каждой статье на тему orm performance.

[Roman K]

Сергей Горностаев: Тогда то, что я написал в ответе.

[Сергей Горностаев]

Roman Kitaev: спасибо за то, что натолкнул меня на мысль. Я её развил. Разбиваю данные на куски и скармливаю потокам gevent, которые заливают их в базу в контексте транзакции.

[Roman K]

Сергей Горностаев: В общем-то, да. Тут суть была в идее.