Как в процессе выполнения программы считывать вывод?

Question

[KirSupi]

Задача такая:
Через exec.Command запускаю, например, script.py

script.py

import time

while True:
    time.sleep(3)
    print("...")

Далее надо считывать вывод программы и сохранять его в какой-нибудь буфер, чтоб потом с помощью отдельной функции его считывать по запросу

Проблема в том, что никак не могу разобраться с os.Pipe() и Reader/Writer
Сейчас у меня примерно такой код:

spoiler

cmd := exec.Command("python",  "script.py")
	pr, pw := io.Pipe()
	cmd.Stdout = pw
	bufReader = bufio.NewReader(pr)
	outputBuffer = bytes.NewBuffer([]byte{})
	go func() {
		for {
			b, err := bufReader.ReadByte()
			outputBuffer.WriteByte(b)
			if err != nil {
				if err == io.EOF {
					break
				} else {
					fmt.Println(err)
					os.Exit(1)
				}
			}
			pr.Close()
		}
	}()
	if err := cmd.Run(); err != nil {
		log.Println(err.Error())
	}

И отдельно просто беру outputBuffer.Bytes() по запросу

Answer 1

[Александр Павлюк]

Все гораздо проще. Вы можете сразу в stdout подложить буфер и смотреть в него при необходимости

cmd := exec.Command("python", "script.py")
stdoutBuf := bytes.NewBuffer(nil)
cmd.Stdout = stdoutBuf
if err := cmd.Run(); err != nil {
	log.Println(err.Error())
}

fmt.Println(stdoutBuf.String())

Или еще проще, если вам нужны и stdout и stderr вместе:

cmd := exec.Command("python", "script.py")
res, err := cmd.CombinedOutput()
if err != nil {
	log.Fatal(err)
}
fmt.Println(string(res))

Comments

[KirSupi]

Попробовал так, но в итоге буфер пустой, пока script.py не завершится

[Александр Павлюк]

KirSupi, я понял, вы хотите обязательно потоково читать по строчкам. Тогда нужно делать так. Обратите внимание на флаг -u у Питона. Он отключает питоновскую буфферизацию вывода, что позволяет видеть данные сразу, как они принтятся. С включенным буффером Питон накапливает большой объем данных и пишет их одним пакетом, чтобы не делать кучу мелких вызовов.

func main() {
	r, w := io.Pipe()

	cmd := exec.Command("python", "-u", "script.py")
	cmd.Stdout = w

	err := cmd.Start()
	if err != nil {
		log.Fatal("error starting command:", err)
	}

	bufr := bufio.NewReader(r)
	for {
		line, err := bufr.ReadString('\n')
		if err != nil {
			if err == io.EOF {
				break
			}
			log.Fatal("error reading line", err)
		}

		fmt.Print(line)
	}

	// Wait обязательно нужно вызвать если пользуетесь cmd.Start
	// это написано в документации к Start
	err = cmd.Wait()
	if err != nil {
		log.Fatal("error processing command:", err)
	}
}

[KirSupi]

Александр Павлюк, да, действительно, дело было в этом)
Как-то даже не задумывался о том, что может быть неприятность со стороны питона

Answer 2

[falconandy]

Недавно был подобный вопрос https://qna.habr.com/q/1218124, может вам подойдет мой ответ там.