Как ускорить запись в базу?

Question

[valexeich]

Пишу в базу 50к записей с этим кодом, это длилось целый час, как можно это ускорить?

for buyer_pays, you_receive in buyer_to_receive.items():
        await BuyerToReceive.objects.create(buyer_pays=buyer_pays, you_receive=you_receive)

Comments

[Sand]

это можно ускорить настройкой мониторинга и анализом рзезультатов

[Vitsliputsli]

Попробуйте загружать из файла, обычно это самый быстрый способ.

Answer 1

[mayton2019]

Тут скорее всего ничего нельзя сделать. Судя по всему используется Django ORM.
А любые ORM библиотеки не подходят для массовой загрузки-выгрузки.
Надо просто отказаться от ORM и работать на уровне БД (Mongo/MySQL)
их собственными средствами пакетной загрузки.

Comments

[mayton2019]

GNUBack, ну ОК. Подскажите автору.

[mayton2019]

Автор посчитал что 50к строк загружалось около часа. Тоесть это около 14 строк в секунду.
Это - позорная скорость. Не знаю что там за БД и что за структура у этого объекта.
И так жить нельзя.

[Ипатьев]

абсолютно нормальная скорость для innodb_flush_log_at_trx_commit = 1

[valexeich]

mayton2019, orm: Ormar, а база sqlite и driver aiosqlite

[valexeich]

GNUBack, спасибо за помощь

[mayton2019]

valexeich, не спеши благодарить. Ты попробуй.

Answer 2

[rPman]

для sqlite настоятельно рекомендую разместить ее файл на ram диске (временно на время длительных операций), никакие другие способы не дадут такого ускорения записи, sqlite все же не про скорость

а так да, менять логику поведения и убирать commit после каждого запроса, делая его раз на тысячу-десяток тысяч модификаций