Как осуществить многопоточный запуск программ в linux на си?

Question

[dlinyj]

Я занимаюсь разработкой тестового ПО, для тестирования железа. И у меня стоит задача запускать тестирующие программы параллельно друг другу. И не просто запускать, а ещё и обрабатывать их вывод и результаты теста.

Делаю это следующем образом: запускаю отдельно тестирующий поток, а уже в нём с помощью popen запускаю тестируемый поток. Проблема заключается в том, что процессы выполняются последовательно, не смотря на многопоточность. Поясню примером кода. Проверка на ошибки опущена.

static id=0; //счётчик запущенных процессов
int runner(void * ini_file_data_st_ptr, LPVOID sys_hwd_ptr)
{
....
	int result;
	pthread_t th_usbtest, th_ledtest, th_comtest, th_framtest, th_hddtest;

// test USB
	if (ifd ->usbCount>0) { //если у нас есть тестирование USB
		id++; //увеличиваем счётчик
		result = pthread_create(&th_usbtest, NULL, usbtest, &id); //запускаем поток "usbtest"
		printf("Creating the usbtest thread\n");
	} 
//test LED
	if (ifd ->ledsFlag) {
		id++;
		result = pthread_create(&th_ledtest, NULL, ledtest, &id); //запускаем поток "ledtest"
	}
//test COM
	if (ifd ->comCount>0) {
		id++;
		result = pthread_create(&th_comtest, NULL, comtest, &id); //запускаем поток "comtest"
	}
//... и так далее остальные процессы

	while (id!=0) { //костыли для ожидания окончания работы процессов, чтобы не возиться с мьютексами и семафорами
		sleep(1);
	}
}

Все функции процессов (usbtest, ledtest, comtest и т.д.) примерно одинаковые. Поэтому я приведу пример одной из них.

#define USB_TEST_PATH "./usbtest"
void *usbtest (void *arg){
	FILE* f;
	ptrSysHWD->usbCount=0; //технические данные
	gl_tst_result.usb=true;
	char buf[128];
	char path[128];
	sprintf(path,"%s %d", USB_TEST_PATH, ifd ->usbCount); //формируем команду запуска программы с параметрами (передаём количество юсб)
	f = popen(path,"r"); //запускаем программу
	while (fgets(buf,127,f)) //читаем всё то что программа выводит
	{
// ********************* !!!
		printf("%s\n",buf); //выводим на экран
		fflush(stdout); // ФЛУШИМ!!!
// ********************* !!!
		if ((strstr(buf, "error") != NULL) || (strstr(buf, "not found") != NULL ) || (strstr(buf, "Error") != NULL) || (strstr(buf, "failed") != NULL)) {
				printf ("USB HARDWARE ERROR\n");
				gl_tst_result.usb=false;
		} //проверяем на ошибки
		if (strstr(buf, " OK!") != NULL) { //считаем количество устройств
			ptrSysHWD->usbCount++;
		}
	}
	fclose(f); //после того, как прочитали закрываем программу
	id--; //минусуем счётчик потока
}

Остальные потоки аналогичные, запускают другие аппаратные тесты. Фишка в том, что некоторые тесты могут выполняться по несколько десятков секунд. И вот парадокс, что несмотря на fflush(stdout); у меня в логах идёт последовательный вывод всех программ. Т.е. я понимаю так, что если потоки работают параллельно и дескрипторы открытых файлов стандартного вывода одинаковые, то у них должен быть перекрещивающийся вывод. А этого нет.

Из чего можно заключить: потоки и программы выполняются ПОСЛЕДОВАТЕЛЬНО! Хотя запуск каждого потока идёт параллельно. Что я делаю не так? И как это исправить?

Answer 1

[jcmvbkbc]

//костыли для ожидания окончания работы процессов, чтобы не возиться с мьютексами и семафорами

Достаточно вызвать pthread_join для каждого из запущенных потоков.

fclose(f); //после того, как прочитали закрываем программу

Должно быть pclose(f).

id--; //минусуем счётчик потока

Зря вы так, грязными руками в общую переменную.

Из чего можно заключить: потоки и программы выполняются ПОСЛЕДОВАТЕЛЬНО

Non sequitur. Но для полноты картины хотелось бы увидеть Makefile.

Comments

[dlinyj]

Ответил ниже

Answer 2

[dlinyj]

Большое спасибо за найденный косяк с pclose!!!

pthread_join - потоки могут завершиться в разное время, но вероятно так и надо сделать. Прикостылил, в силу незнания.

Мейкфайл - пожалуйста:

# Makefile for dlbht
TARGET = dht

CC ?= gcc
CXX ?= g++

CFLAGS = -O0 -g 
CXXFLGS = -00 -g 

LDFLAGS += -lpthread
#LDFLAGS += -g
CC = gcc

SRC = main.c
SRC += utils.c
SRC += readconf.c
SRC += chknint.c
SRC += runner.c
SRC += get_com_port_list.c
SRC += result.c

SRCPP=

OBJ = $(SRC:.c=.o)

all:
	make compile
	cp $(TARGET) ../bin
	cp test_std.cfg ../bin/

compile:
	make $(OBJ) 
	make $(TARGET)

$(TARGET):$(OBJ)
	$(CXX) -o $(TARGET) $(OBJ) $(LDFLAGS)
	
	#$(CC) -D_REENTERANT -o $(TARGET) -g $(OBJ) $(LDFLAGS)
	#strip $(TARGET)

get_com_port_list.o: get_com_port_list.cpp
	$(CXX)  -c -o get_com_port_list.o get_com_port_list.cpp

clean:
	rm -f *.o $(TARGET)  *.log

Comments

[jcmvbkbc]

LDFLAGS += -lpthread -- не очень хорошо. Правильнее будет

LDFLAGS += -pthread
CFLAGS += -pthread
CXXFLAGS += -pthread

Правило для get_com_port_list.o не использует CXXFLAGS.
В остальном вроде всё нормально.

[dlinyj]

Спасибо за замечание, исправил. Всё равно идёт последовательный запуск. Я вывод привёл в "псевдовид" (опустив тонну выводимой инфы). Решёткой помечены мои комментарии:


Creating the framtest thread
Creating the hddtest thread
Creating the hddtest thread

Start LPT TEST!!!!
#запустился тред

Start FRAM TEST!!!!

#в потоки вошли в разнобой

StartUSB TEST!!!!
#запустили внешнюю програмку для теста USB
#Здесь инфа по юсб
USB test stop! 0

LPT TEST START
#запустили внешнюю програмку для теста lpt
#Здесь инфа по lpt
Lpt test stop!

#тут пошли данные от теста fram
Fram HARDWARE ERROR
Fram test stop! 0

#здесь пошли данные от запуска hdd-теста

Hdd test stop! 0

#и только после завершения теста hdd, пошли данные тестирования СОМ-портов. Вывод друг друга не перекрывает!
Com test stop*********

[jcmvbkbc]

Вот мой тестовый пример, всё работает вперемежку:

#include <pthread.h>
#include <stdio.h>

void f(const char *cmd)
{
        FILE *f = popen(cmd, "r");
        char str[256];
        while (fgets(str, sizeof(str), f)) {
                printf("%s", str);
                fflush(stdout);
        }
}

void *f1(void *p)
{
        f("yes 1");
        return p;
}

void *f2(void *p)
{
        f("yes 2");
        return p;
}

int main()
{
        pthread_t thread[2];
        void *rv;

        pthread_create(thread + 0, NULL, f1, NULL);
        pthread_create(thread + 1, NULL, f2, NULL);
        pthread_join(thread[0], &rv);
        pthread_join(thread[1], &rv);
        return 0;
}

[jcmvbkbc]

Результаты запусков плавают, но точно работают оба параллельно:

for (( j = 0; j < 5; ++j )) ; do ./pp | { declare -a cnt ; for (( i = 0; i < 100000 ; ++i )) ; do read a ; z=$(( cnt[$a]++ )) ; done ; echo ${cnt[@]} ; } ; done
63883 36117
51833 48167
50418 49582
39635 60365
37564 62436

[dlinyj]

Скрипт не завёлся, но за сам пример спасибо большое! Ещё вопрос, как лучше реализовать, если у меня переменное количество запускаемых потоков (зависит от настроек), как лучше сделать переменное количество ожиданий pthread_join (тут в формате рекомендации).

[jcmvbkbc]

Я обычно делаю массивы pthread_t и обхожу их циклом.