Как в django брать записи из модели друг за другом не исполюзуя .all()?

Question

[Sabrjkee]

Мне нужно создать функцию, которая будет запускаться в celery и по очереди получать записи из модели, что-то проверять и записывать данные в другую модель с onetoone отношением. Записей очень много, и использование model_name.objects.all () и потом итерировать по нему, не подойдет (это займет много памяти и времени), как это можно сделать.

Answer 1

[Владимир Куц]

Добавьте к первой модели булевое поле, типа is_processed
Делайте выборку по нему .filter(is_processed=False), получая порцию данных, к примеру .first() или делая срез, и устанавливая флаг после обработки у обработанных инстансов.
Повторяете предыдущий шаг, пока не выставите все флаги.

Answer 2

[Roman K]

Есть .iterator(), но его использование (почти) бесполезно без использования server-side cursors.

Поэтому проще получать срезы. Если есть гарантия, что записи за время работы задачи не создаются, то это просто срезы: Model.objects.all()[0:200], Model.objects.all()[200:400], ...

Если гарантии нет, то нужно придумать фильтрацию. Например:

Первая выборка — Model.objects.order_by("-id")[:200]
Вторая и все следующие —

Model.objects.filter(id__lt=<последний id из предыдущей выборки>).order_by("-id")[:200]

Comments

[Sabrjkee]

а если я не знаю точное количество записей в бд, как мне понять что срезы закончились?

[Roman K]

Sabrjkee, очевидно, в этом случае придёт записей меньше, чем ты хочешь. Вплоть до нуля

Answer 3

[Владимир]

одна задача в celery бежит по всем записям и если необходимо создает много маленьких задач в том же celery
тоесть Ваша задача просто превращается в задачу-диспетчер, а вся логика для конкретной записи укладывается в этой маленькой задаче. желательно эти маленьки задача выделить в отдельный воркер, с большим значением concurensy

Comments

[Roman K]

Тут вроде вопрос не в том, как это резолвить, а в том, как эти записи достать и не быть убитым OOM Killer'ом.