Как передавать данные из go в подпроцесс(через exec.Command), но без перезапуска подпроцесса(т.е. постоянно писать/читать)?

Question

[Konvergent]

Есть такой код:

cfCmd := exec.Command("perl", "./test.pl")
    cfIn, _ := cfCmd.StdinPipe()
    cfOut, _ := cfCmd.StdoutPipe()
    err := cfCmd.Start()
    if err != nil { 
    	fmt.Print(err.Error()) 
    	os.Exit(1) 
    } 
    cfIn.Write([]byte(task))
    cfIn.Close()
    cfBytes, _ := ioutil.ReadAll(cfOut)
    cfCmd.Wait()
    
    res := "\n>>> Server: test.pl " + fmt.Sprint(id) + " вернул: \n" + string(cfBytes)

Но проблема в том, что мне нужно только раз запустить test.pl, а потом писать в него данные и читать ответы.
Как это правильно сделать на golang?

Answer 1

[Александр Павлюк]

Не закрывайте cfIn, пишите туда данные, а читайте из cfOut, в разных горутинах.

Например, так

package main

import (
	"bufio"
	"fmt"
	"io"
	"os"
	"os/exec"
	"strings"
)

func main() {
	cfCmd := exec.Command("perl", "test.pl")
	cfIn, err := cfCmd.StdinPipe()
	if err != nil {
		panic(err)
	}
	cfOut, err := cfCmd.StdoutPipe()
	if err != nil {
		panic(err)
	}

	err = cfCmd.Start()
	if err != nil {
		panic(err)
	}

	go ProcessStdin(cfIn)
	ProcessStdout(cfOut)

	err = cfCmd.Wait()
	if err != nil {
		panic(err)
	}
}

func ProcessStdin(stdin io.WriteCloser) {
	defer stdin.Close()
	stdin.Write([]byte("some task"))
	stdin.Write([]byte("some other task"))
	// ......
}

func ProcessStdout(stdout io.ReadCloser) {
	defer stdout.Close()

	rd := bufio.NewReader(stdout)
	for {
		line, err := rd.ReadString('\n')
		if err != nil {
			fmt.Println("Error reading stdout:", err)
			os.Exit(1)
		}
		line = strings.TrimSpace(line)

		fmt.Println("Got line from a process:", line)
	}
}

Не забудьте в перловой программе сделать
$| = 1;
Иначе перл не будет сбрасывать буфер stdout и вы ничего не получите в интерактиве.

Comments

[Konvergent]

Ок, а как реализовать 'читайте из cfOut, в разных горутинах'?
У меня идет инициализация и присвоение cfOut, _ := cfCmd.StdoutPipe()...
Нельзя же писать так - go cfOut, _ := cfCmd.StdoutPipe()

[Александр Павлюк]

Обновил ответ

[Konvergent]

Александр, спасибо вам большое за развернутый ответ... Видимо, у меня совсем плохо с мат.частью, либо не так сформулировал вопрос. Я попробовал, но у меня идет обработка ф-ии ProcessStdin, а потом выводит 'Error reading stdout: EOF'... Дело в том, что го-часть отправляет запрос, перл-часть обрабатывает и выводит в stdin, а го-часть это считывает и выводит. Т.е. работа запрос-ответ идет последовательно...
P.S. спасибо за пояснение для перл, не знал о таком...
Буду читать мат.часть.
Если вам не трудно, посоветуйте ресурсы по Go с описанием подобных моему примеров.

[Александр Павлюк]

'Error reading stdout: EOF' значит, что перл-программа закрылась, соответственно, stdout закончился.
Про параллельнкую обработку данных вот тут сборник туторов различных https://github.com/golang/go/wiki/LearnConcurrency

[Konvergent]

Александр Павлюк, да, наверное перл-программа закрылась, только fmt.Println("Got line from a process:", line) вывода stdout в консоли нет(.
Спасибо за ссылку.

[Александр Павлюк]

Konvergent, возможно в конце программа не передает \n?

[Konvergent]

Александр Павлюк, по идее должна, т.е. <ответ на запрос> выводится через say в перле, что по идее предполагает перенос. Возможно нужно переназначить спец.переменную окончания строки или что-то такое?