Как работает перенаправление вывода скрипта python?

Question

[Luka83]

Есть скрипт test.py вида

import os
print('Пытаемся запустить файл 1:')
os.system('./1.py')
print('Пытаемся запустить файл 2:')
os.system('./2.py')

При его запуске в командной строке выдача соответствует ожидаемому:

Пытаемся запустить файл 1:
Файл один печатает.
Пытаемся запустить файл 2:
Файл два печатает.

Но если его запустить как ./test.py > 1.txt
В файле 1.txt меняется порядок следования строк:

Файл один печатает.
Файл два печатает.
Пытаемся запустить файл 1:
Пытаемся запустить файл 2:

Почему это так работает и можно ли починить?

Answer 1

[Сергей П]

Или вызывайте вот так:
print(subprocess.getoutput('./1.py'))
Так вы дождётесь полного выхлопа.
Но если выхлопа много, то лучше запускать иначе, чтобы получить выходной пайп и вычитывая его в цикле слать всё на stdout __main__

UPD: Дополню ответ, а то часть оказалась в комментариях.

Такое происходит потом, что при перенаправлении выхлопа в файл происходит буфферизация. Накопительный буффер сбрасывается в файловую систему по факту своего заполнения или принудительно (по команде flush или по факту завершения процесса).

При выхлопе, направленном в терминал, буфферизации нет и всё, что выводится, попадает в терминал сразу.
Но если бы каждый байт писался в файловую систему без буффера, то это быо бы чертовски медленно и заставляло бы постоянно дёргаться картеку (реальную или виртуальную) лочного девайса, на котором у нас файловая система.
Так и получается, что
- сперва в stdout материнского процесса попадает некий текст,
- потом запускаеется дочений процесс и что-то пишет в свой stdout,
- потом дочерний процесс закрывается и сбрасывает накопившийся буффер, который перенаправляется по цепочке в выходной файл,
- потом закрывается материнский процесс и весь его недозаполненный буфер тоже сбрасывается в файл.

Comments

[Aragorn]

Не могли бы вы объяснить

Почему это так работает

[Сергей П]

Aragorn, тут работают три процесса. Материнский и два дочерних.
При перенаправлении вывода в файл работает буфферизация. Причем у каждого из процессов свой буффер, но по завершении процесса этот буфер сбрасывается (flush) принудительно.
Вот и олучается, что сперва флашатся буффера дочерних процессов и их выхлопы отправляются в пайп, а потом, по завершении материнского процесса, флашится его буффер и сбрасывается в соответствии с перенаправлением в пайп.
Пайп перенаправлен в файл.
Но если вы запускаете материнский процесс без перенаправления в файл, то выхлоп идёт в терминал без буфферизации, построчно.

Если бы питон у вас делал больше выхлопа перед вызовами дочерних процессов (настолько больше, чтобы заполнить буфер), то вы бы увидели еще более тсранную картину. Часть материнского выхлопа перенаправилось бы в файл до выхлопа дочернего процесса, а часть (недозаполненный буфер) уже после по завершении материнского процесса.

Вы можете принудительно сбрасывать буфера. Вот поменяйте тестовый файл вот так, как у меня:

#!/usr/bin/python
import os, time, sys
print('Пытаемся запустить файл 1:')
time.sleep(2)
print('wait1 done')
sys.stdout.flush()
os.system('./1.py')

print('Пытаемся запустить файл 2:')
time.sleep(2)
print('wait1 done')
os.system('./2.py')

Для наглядности в другом терминале вы можете открыть для мониторинга выходной файл вот так:
$ tail -F 1.txt
И вы наглядно увидите разницу.
При принудительном сбросе буферов всё будет так, как вы ожидаете и при перенаправлении выхлопа.

Answer 2

[Everything_is_not_so_bad]

Можно обвернуть системный вызов в async функцию и использовать await.
https://realpython.com/async-io-python/#the-asynca...

Добавлено:
а нельзя ли просто сделать вывод в stdout и поточное чтение с вывода:
python prog1.py | python prod2.py
?

Answer 3

[Vindicar]

Скорее всего, проблема в работе с одним файлом через два дескриптора (один - stdout твоего скрипта, второй - stdout вызываемого). Попробуй принудительно сбрасывать данные в файл:
print('Пытаемся запустить файл 1:', flush=True)

Comments

[Сергей П]

Да, это из-за буфферизации выхлопа. Теоретически можно было бы сделать пайп с буффером в 1 байт и такой пайп не имел бы такого эффекта.