Существует ли Progress Bar для python, который легко считывать сторонними скриптами?

Question

[Викентий]

Хочу добавить Progress Bar в мой Python скрипт, который я буду запускать из GUI с помощью subprocess.run, и нужен такой Progress Bar, который легко считывается, и обрабатывается. Наткнулся на вопрос, но может кто сталкивался, делал так уже, что лучше использовать и как это обрабатывать?

Comments

[Максим Гришин]

А зачем вам читать прогрессбар с экрана? Может проще в логи отправлять прогресс?

[Викентий]

Максим Гришин, может и незачем... логи в файл?

[Максим Гришин]

Викентий, само собой. если хотите какой-то standalone скрипт, логируйте его действия сколько можете, ради ловли багов и неожиданного поведения вроде отвалившегося зависимого сервиса или сайта. Ну и так или иначе, если скрипт будет обновлять прогрессбар, что мешает уровень обновления сразу кинуть в лог? Прогрессбар для человека, а для машины лучше числа подготовить.

[Сергей П]

Максим Гришин, лишний раз писать мусор в файл - это плохо. SSD спасибо не скажет. Если планируется чем-то перехватывать статус работы утилиты, то лучше статус писать в stderr или stdout.
Вообще, как я уже сказал в ответе, всегда легко понять в tty идёт поток вывода, или в pipe. Если pipe, то обычно не требуется никакой красоты, а если в tty, то наверно красота и читабельность важнее. Ну и умолчательные настройки можно перекрывать параметрами командной строким для очень специальных случаев.

Answer 1

[Сергей П]

Не надо парсить прогресс-бар, то что вам нужно делается иначе.
Во-первых, питоновский скрипт по атрибутам объекта sys.stdout может судить куда направлен выхлоп. Вариантов, по сути, два: файл или пайп, либо в терминал.
Обычно если stdout является терминалом, то в него шлют по умолчанию красивый отформатированный выхлоп с цветами, псевдографикой, эмоджи и свистелками вроде симпатичных прогресс-баров с переписыванием текста поверх старых строк.
Если это не TTY, то выдаём упрощенно оформленый вывод.
Благодаря тому, что у нас символы и разные, можно делать в конце строки с прогрессбаром только возврат каретки без перевода строки, тогда следующая рисуется поверх предыдущей и создаёт эффект прогрессбара. Если этот же выхлоп ещё и идёт в пайп или файл, то там все состояния прогрессбара будут растянуты по отдельным строкам.

Для облегчения работы с такими утилитами можно сделать им специальный ключ или параметр командной строки, который включит специальный режим выхлопа, предназначенный для простого парсинга результата. Например в таком особом режиме утилита может выдавать указанные динамические параметры в виде csv-строк с разделителями. Тогда GUI их сможет тривиально парсить прямо в потоке.

Резюмирую. Используйте любую библиотеку для рисования прогрессбара. Большинство из них умеют делать нужный регресс при обнаружении пайпа на stdout. Но если она и не умеет, то вы можете это реализовать самостоятельно, просто добавив ключ и\или проверку на TTY.

Comments

[Викентий]

а не знаете, допустим, библиотек, которые поддерживают собственный парс?
И я так понял, ваше предложение выводить какие-то базовые значения: [4/26] (пример)?

[Сергей П]

Викентий, не понял вопроса. Что значит "поддерживает собственный парс"?
Можно выводить совершенно любые значения с любой доступной частотой.
Тот же tqdm, который упомянут в референсном вопросе на стековерфлоу выдает свой прогресс строчками с возвратом каретки в качестве разделителя. Там вначале каждой строки процент, его можно сплитить и извлекать из каждой строки. В чем проблема?

Вы ходите вокруг да около. Что именно вам надо вытаскивать из прогрессбара? Из какого прогрессбара?

Если вы выбираете библиотеку для прогрессбара, то значит вы и управляете тем, что в него рисовать. Вернее решаете что туда писать.
Ну и печатайте в stdout прямо цифрами через запятую что вам там надо парсить. А если выхлоп идёт в tty, то включайте прогрессбар и не печатайте цифры через запятую.
В чем ваша проблема?

[Викентий]

Сергей П,

Что именно вам надо вытаскивать из прогрессбара? Из какого прогрессбара?

Прогресс)
А как в скрипте определить куда идет выхоп? чтобы либо рисовать прогресс бар, либо числа

[Сергей П]

Викентий, sys.stdout.isatty()
Но можно и явные параметры командной строки сделать для машиночитаемого выхлопа

[Сергей П]

Вот, кстати, в примере из ридми tqdm выхлоп идёт в stderr по умолчанию и строки туда лезут вида:

0%|          | 0/30 [00:00<?, ?it/s]
  3%|▎         | 1/30 [00:00<00:03,  9.52it/s]
  7%|▋         | 2/30 [00:00<00:02,  9.51it/s]
 10%|█         | 3/30 [00:00<00:02,  9.50it/s]
 13%|█▎        | 4/30 [00:00<00:02,  9.49it/s]
 17%|█▋        | 5/30 [00:00<00:02,  9.53it/s]
 20%|██        | 6/30 [00:00<00:02,  9.50it/s]
 23%|██▎       | 7/30 [00:00<00:02,  9.56it/s]
 27%|██▋       | 8/30 [00:00<00:02,  9.57it/s]
 30%|███       | 9/30 [00:00<00:02,  9.66it/s]
 33%|███▎      | 10/30 [00:01<00:02,  9.69it/s]
 37%|███▋      | 11/30 [00:01<00:01,  9.66it/s]
 40%|████      | 12/30 [00:01<00:01,  9.59it/s]
 43%|████▎     | 13/30 [00:01<00:01,  9.57it/s]
 47%|████▋     | 14/30 [00:01<00:01,  9.55it/s]
 50%|█████     | 15/30 [00:01<00:01,  9.44it/s]
 53%|█████▎    | 16/30 [00:01<00:01,  9.46it/s]
 57%|█████▋    | 17/30 [00:01<00:01,  9.54it/s]
 60%|██████    | 18/30 [00:01<00:01,  9.58it/s]
 63%|██████▎   | 19/30 [00:01<00:01,  9.56it/s]
 67%|██████▋   | 20/30 [00:02<00:01,  9.64it/s]
 70%|███████   | 21/30 [00:02<00:00,  9.66it/s]
 73%|███████▎  | 22/30 [00:02<00:00,  9.61it/s]
 77%|███████▋  | 23/30 [00:02<00:00,  9.65it/s]
 80%|████████  | 24/30 [00:02<00:00,  9.63it/s]
 83%|████████▎ | 25/30 [00:02<00:00,  9.60it/s]
 87%|████████▋ | 26/30 [00:02<00:00,  9.61it/s]
 90%|█████████ | 27/30 [00:02<00:00,  9.57it/s]
 93%|█████████▎| 28/30 [00:02<00:00,  9.57it/s]
 97%|█████████▋| 29/30 [00:03<00:00,  9.53it/s]
100%|██████████| 30/30 [00:03<00:00,  9.50it/s]
100%|██████████| 30/30 [00:03<00:00,  9.56it/s]

парсь - не хочу=)