Как в Bash загрузить несколько файлов и склеить в один?

Question

[Иван]

Нужно с нескольких сайтов взять некий контент и объединить все в один файл. Причем порядок должен быть соответствующим. Т. е. каждому сайту, например, соответствует номер 1, 2, 3...1000, в результирующем файле сначала должна быть инфа с 1-го сайта, потом со 2-го и т. д. (сначала записать с n-го сайта, потом с (n-k)-го недопустимо), ответы могут приходить в любом порядке, поэтому просто перенаправление в файл (>>) не подойдет.
Я написал такой скрипт:

rm -rf /tmp/content
mkdir /tmp/content

for i in ${!urls[@]}; do
	mkfifo /tmp/content/$i
	curl -s "${urls[$i]}" > /tmp/content/$i &
done

rm -f /tmp/output

for i in ${!urls[@]}; do
	cat /tmp/content/$i >> /tmp/output
done

rm -rf /tmp/livesport

Bash делает, что-то невероятное - вместо N параллельных запросов, каждый из которых выполнится за 1-2 сек (а значит вся закачка+сборка займет пару секунд), он делает запросы последовательно (пока один curl не закончит работу, следующий не начинает).

Comments

[Иван]

@Saboteur, ты не представляешь как я за тебя рад. Но что мне делать?

[Saboteur]

curl у вас по идее должен запускаться парралельно, но выполняться они будут последовательно (в вашем втором цикле), поскольку FIFO означает, что процесс ничего не может записать, пока другой процесс не начнет чтение.

Можете проверить, открыв две сессии и выполнив
mkfifo test
echo "a" > test

и в другой сессии
cat test

команда echo, которая пишет всего лишь одну букву, завершится только после выполнения команды cat

Answer 1

[jcmvbkbc]

mkfifo /tmp/content/$i
  curl -s "${urls[$i]}" > /tmp/content/$i &

Bash делает, что-то невероятное - вместо N параллельных запросов, каждый из которых выполнится за 1-2 сек (а значит вся закачка+сборка займет пару секунд), он делает запросы последовательно

Ну учи матчасть, что ли. Ты заставил curl выводить результаты в FIFO вместо того, чтобы выводить их в файлы, а у FIFO совсем маленький буфер, после заполнения которого запись в FIFO блокируется, пока из него не начнётся чтение.
Если уж хотелось параллельности, можно было сделать так:

rm -rf /tmp/content
mkdir /tmp/content

for i in ${!urls[@]}; do
  curl -s "${urls[$i]}" > /tmp/content/$i &
done

wait
rm -f /tmp/output

for i in ${!urls[@]}; do
  cat /tmp/content/$i >> /tmp/output
done

Comments

[Иван]

Ну так изучением и занимаюсь. На примерах.
Про именованные пайпы на всех форумах пишут как о прекрасном решении, ничего не говоря о недостатках.
Вот ты рассказал про их буферы, теперь буду знать, что есть такая подстава.

Answer 2

[pfg21]

может просто сливать файлы на tmpfs-раздел (они будут такде висеть в ram как и у fifo, пока не удалятся) и оттуда собирать в файл ??

Comments

[Иван]

Это интересно. А можешь подсказать создание/удаление tmpfs затратные операции? Если я примонтирую tmpfs выполню на этом "ramdisk-е" все операции и тут же его грохну, как это скажется? Или держать его в памяти постоянно?

[pfg21]

обычно линукс по умолчанию имеет несколько tmpfs разделов.
посмотри вывод mount.
пока памяти хватает весь контент tmpfs держится в памяти, потом сливается в своп.
зависит сколько всего ты собираешься качать.

так-то можно вывод curl напрямую дописывать в файл через tee -a без промежуточных задержек
чтонить типа
curl -s "${urls[$i]}" | tee -a /tmp/output

Answer 3

[Виктор Таран]

Подробно разбирал тут
Практически на 80% вам подходит
https://klondike-studio.ru/blog/bitrixtar/?sphrase...