Как сохранить больше 1000 элементов в SQL через Tortoise-ORM?

Question

[Даниил Ляпин]

Мне надо сохранить в бд 16500 строк, но сохраняются только первые 1000, кто-нибудь знает как это исправить?

Comments

[Everything_is_bad]

код конечно нам угадывать

[mletov]

В теги Python добавьте

[Даниил Ляпин]

Everything_is_bad, А что мне туда добавить, init файл?)

[Даниил Ляпин]

Everything_is_bad,

from tortoise import Tortoise

db = Tortoise()

async def init():
    await Tortoise.init(db_url='sqlite://db.sqlite3', modules={'models': ['db.models']})
    await Tortoise.generate_schemas()


async def on_shutdown():
    await db.close_connections()

[Everything_is_bad]

Даниил Ляпин, у тебя проблема с добавление 16500 строк, ну так и показывай именно проблемный код, зачем нам твой init?

[Даниил Ляпин]

Everything_is_bad, дак а я откуда то знаю какой код проблемный, трассировки нет, максимум что могу скинуть это await Class.create() и не более, была бы трассировка, я бы не писал сюда)

[Даниил Ляпин]

Everything_is_bad,

await GeneralData.create(name=result['rows'][i]['name'], pathname=result['rows'][i]['pathName'])

[Everything_is_bad]

Даниил Ляпин, как ты добавляешь 16к строк? руками забил 16к строк кода или цикл какой?

[Даниил Ляпин]

Everything_is_bad,

i: int = 0
    for it in result['rows']:
        if i == 1000:
            break
        if 'без ЧЗ' not in result['rows'][i]['pathName']:
            await GeneralData.create(name=result['rows'][i]['name'], pathname=result['rows'][i]['pathName'])
            print(result['rows'][i]['name'], '///', result['rows'][i]['pathName'])
            i += 1

    list_check: list = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]
    for item in list_check:
        url = f""
        response = requests.get(url=url, auth=auth, headers=headers)
        result = response.json()
        i = 0
        for it in result['rows']:
            if 'без ЧЗ' not in result['rows'][i]['pathName']:
                await GeneralData.create(name=result['rows'][i]['name'], pathname=result['rows'][i]['pathName'])
                i += 1

[Everything_is_bad]

Даниил Ляпин, ну вот такое сразу и надо в вопросе показывать
- как ты определил что будет именно 16500?
- в первом цикле ты вышел по 1к, а что если у тебя итерация закончится до того как i станет 1000, выведи после цикла значение i, чтобы понимать
- во втором цикле ты вообще не логируешь что у тебя происходит, добавь сколько значений в result['rows'], сколько в итоге i после каждого внутреннего цикла

Ну и сразу такая вставка медленная, надо первый и вложенный цикл в транзакцию обернуть или bulk_create вставлять

[Даниил Ляпин]

Everything_is_bad
Ну ок не 16500, но точно больше 16000, но меньше 17000

То есть вы предлагаете просто добавлять по очереди по 1000 строк?

[Everything_is_bad]

Даниил Ляпин, я предлагаю тебе добавить хотя бы принты итоговых значений i во всех циклах, что бы точно понять сколько раз у тебя в итоге GeneralData.create был вызван

[Даниил Ляпин]

Everything_is_bad, ok