Multiprocessing django?

Question

[howuu]

У меня есть такой цикл:

name = 'something'
for hash, color in hashes:
        ColorHashes.objects.create(name = name , hash = hash, color = color )

Беда в том, что у меня примерно 120 тысяч. объектов нужно создать и процесс пока очень медленный, хочу попробовать сделать многопоточность, как это можно реализовать

Answer 1

[Сергей Горностаев]

Попробуйте bulk_create

CHUNK_SIZE = 10000  # Подберите наиболее подходящий размер экспериментальным образом

def chunkify(items, chunk_size):
    for i in range(0, len(items), chunk_size):
        yield items[i:i+chunk_size]


name = 'something'
for chunk in chunkify(hashes, CHUNK_SIZE):
    color_hashes = [ColorHashes(name=name , hash=hash, color=color) for hash, color in chunk]
    ColorHashes.objects.bulk_create(color_hashes)

Answer 2

[sim3x]

Нет
Вам нужно отключить автокоммит в данном блоке кода и допусим через 10к позиций делать коммит в коде

https://docs.djangoproject.com/en/2.2/topics/db/tr...

Или вообще сделать вставку напрямую через СУБД консоль

Comments

[howuu]

Что-то вроде так, но считать еще количество итераций и на 10к делать как я делаю тут?

from django.db import transaction

@transaction.atomic
def my_func(something):
    name = 'something'
    for hash, color in hashes:
        ColorHashes.objects.create(name = name , hash = hash, color = color)
        sid = transaction.savepoint()
    transaction.savepoint_rollback(sid)

[sim3x]

howuu,
для начала посмотреть - возможно все влезет в одну

Но для такого простого случая проще сделать raw insert через psql

[howuu]

sim3x, скрипт завис, а сервер пишет django.db.utils.OperationalError: database is locked

[howuu]

sim3x, попробую напрямую, как вы говорите делать raw insert

[howuu]

sim3x, в общем быстрее раза в два напрямую если делать, но все равно не так быстро, как хотелось бы

[deepblack]

howuu,

скрипт завис, а сервер пишет django.db.utils.OperationalError: database is locked

Потому что SQLite
https://docs.djangoproject.com/en/dev/ref/database...