Как сделать параллельное чтение из файла, Python+Linux(GNU_parallel)?

Question

[delkov]

Доброго времени суток, уважаемые!
Есть примитивный bash-скрипт, читающий файл:
cat -v /dev/pts/2 | python3 'process.py'
Где python3 скрипт:

import sys
	for string in sys.stdin:
		some_calculation(string)

Мой вопрос: как я могу распараллелить чтение и обработку? Чтобы одновременно работало два скрипта process.py
Я нашел GNU-parallel, но что-то не завелось:

cat -v /dev/pts/2 | parallel  --pipe --recstart '>' python3 process.py

Как починить, или есть другие варианты как это сделать?
Заранее благодарен!

решение найдено, просто поиграйтесь с параметром --block:

cat -v /dev/pts/2 | parallel --j 3 --pipe --block 12M python3 process.py

Answer 1

[delkov]

решение найдено, просто поиграйтесь с параметром --block:

cat -v /dev/pts/2 | parallel --j 3 --pipe --block 12M python3 process.py

Answer 2

[Владимир]

проблема в постановке задачи. неизвестно что за текстовый файл мы имеем и почему его надо читать в несколько ручьев.

Comments

[delkov]

Положим большой текстовик, в миллион строк, каждая строка 180 байт.
С каждой строкой нкие вычисления. чтобы быстрей - паралеллить эти самые вычисления.

[Владимир]

ну всеравно не сильно помогло
в зависимости от того что в файле и как надо анализировать можно использовать:
1. pandas.pydata.org
2. или многопоточность как тут
stackoverflow.com/questions/11196367/processing-si...
каждая строка текстового файла ложится в очередь и дальше поехали

[delkov]

мне необходимо параллелить на уровне bash, а не Python.