Как лучше осуществить запись в файл python при асинхронной работе?

Question

[AlexBoss]

Добрый день. Необходимо записать данные в файл(текстовый .csv). Есть вариант сделать через асинхронную aiofiles, но наткнулся на статью, в которой советуют просто писать в файл

with open(file, "w") as out:  # regular file I/O
    async for s in network_request():  # asyncio for slow network work. measure it!
        out.write(s) # should be really quick, measure it!

Такой подход действительно лучше на данный момент, все ли актуально?

Answer 1

[Сергей Горностаев]

Плохое советуют. Можно обойтись и без aiofiles, но использовать loop.run_in_executor().

Comments

[AlexBoss]

в aiofiles так же открывается поток, как и в loop.run_in_executor(), насколько я знаю. Так что +- одинаково и лучше использовать один из этих вариантов?

[Сергей Горностаев]

AlexBoss, угу, блокировок надо избегать в асинхронном коде.

Answer 2

[Vindicar]

Очень много факторов влияет.
Если нужно записать несколько килобайт на жесткий диск, то можно и так.
А если потом внезапно выяснится, что требуется записать несколько десятков мегабат на удалённое хранилище, то могут возникнуть проблемы.
Так что зависит от решаемой задачи.

Comments

[AlexBoss]

блокирующей в данном случае является лишь write(s), если писать маленькими кусками, по идее, даже не заметно должно быть

[Vindicar]

AlexBoss, ну с локальным хранилищем - да. Подвисшее удалённое может дать самые разные спецэффекты, в зависимости от ОС и реализации.

[shurshur]

Vindicar, оно создаст проблемы безотносительно использования asyncio, поскольку в момент записи event loop будет ждать этой записи.