Как реализовать асинхронную загрузку данных в Django?

Question

[Nyppy]

Всем привет, есть такая задача
Я загружаю некие данные по апи и мне нужно сразу же записать их в бд
Как это сделать ?
Я думал сделать это асинхронно но не очень понимаю как
Подскажите

Comments

[WStanley]

Я загружаю некие данные по апи

А как вы их загружаете?

[Nyppy]

WStanley, Делаю пост запрос на апи через requests

[Сергей Горностаев]

Непонятно в чём проблема и что вы подразумеваете под асинхронной загрузкой.

[Nyppy]

Сергей Горностаев, возможно я не так выразился, при загрузке >1500к данных их запись в бд занимает чуть больше 25 минут
как мне это ускорить ?

[Сергей Горностаев]

Nyppy, именно запись столько занимает? Не скачка?

[Nyppy]

Сергей Горностаев, Все в месте
Качает сначала 100, потом записывает их потом еще 100
100 потому что это максимум на апи с которого их получаю

[WStanley]

Nyppy, Запись идет в 1 таблицу?

[Nyppy]

WStanley, в 3

[Сергей Горностаев]

Nyppy, нужно сделать замеры отдельно скачки, отдельно записи в БД, прогнать код под профайлером, найти узкие места и работать с ними.

[Nyppy]

Сергей Горностаев, а просто добавление асинхронности в код не поможет ?
Я прочел что можно Celary использовать

[WStanley]

Nyppy, как получаются данные? Думаю что последовательно и пишутся тоже. Т.е. запись в БД свободна пока получаются следующие данные(предполагаю), следовательно можно вашу программку запустить используя несколько процессов, ознакомьтесь:
https://habr.com/ru/post/260431/
https://pypi.org/project/multiprocessing/

[Сергей Горностаев]

Nyppy, Django спроектирован синхронным, в него нельзя добавить асинхронность. Celery - это просто очередь фоновых заданий, от выноса кода в фон быстрее работать он не будет. В любом случае, оптимизация всегда должна начинаться с измерений.

[javedimka]

Сергей Горностаев, а как же асгиреф и синк то асинк? Или вы тут не про то?

[Сергей Горностаев]

javedimka, это пока только робкие шаги в сторону асинхронности. Полноценная применимость асинхронности в бою у Django появится не раньше, чем через год. А то и дольше, так как её внедрением занимается только один разработчик, который занят и другими проектами тоже.

[Nyppy]

Сергей Горностаев, WStanley, мужики спасибо вы натолкнули меня на мысль проверить где всё-таки происходит задержка
Я нашел
Удалось снизить с +-25 минут
До 6 минут