BASH Как создать динамическую переменную?

Question

[NO_GLITCH]

Пример
Используя curl посылается запрос на сервер, из ответа вытягивается title и пишется в файл
Список урлов берется из файла
Часть скрипта:

while read -r line
  do
	count_progress=$((++count_progress))
	export tmp_var1=$(curl -s $line/ | grep '<title>' )
	if [ "$tmp_var1" == "String" ]; then echo $line >> save_as; fi
        printf "$count_progress checked\r"
 done < $input

Хотелось бы не ждать завершение предыдущего curl и запускать их одновременно.
Нерабочий пример с добавлением символа &

while read -r line
  do
	count_progress=$((++count_progress))
	export tmp_var1=$(curl -s $line/ | grep '<title>' )&
	if [ "$tmp_var1" == "String" ]; then echo $line >> save_as; fi&
        printf "$count_progress checked\r"
 done < $input

Мне кажется что параллельный запуск можно сделать если задавать каждый раз разные переменные в месте где указывается tmp_var1, потому что каждый раз это значение перебивается новым запросом, на который еще не пришел ответ.
Вопрос именно в том как подставлять каждый раз новую переменную, например на основе строки из файла
echo $line | awk '$0="tmp_"$0'

Answer 1

[Влад Животнев]

man gnu parallel

Answer 2

[jcmvbkbc]

Так должно работать, но идея с запуском неконтролируемого числа параллельных процессов тоже не особенно хороша:

while read -r line
  do
  count_progress=$((++count_progress))
  (
  export tmp_var1=$(curl -s $line/ | grep '<title>' )
  if [ "$tmp_var1" == "String" ]; then echo $line >> save_as; fi
        printf "$count_progress checked\r"
  ) &
 done < $input

Comments

[NO_GLITCH]

У меня все упирается во время работы скрипта, если убрать знак & то время не изменится потому что в любом случае надо ждать пока запрос вернется. Неконтролируемое количество конечно же плохо, но в конце скрипта всех ждут

[jcmvbkbc]

NO_GLITCH: в моём ответе отправка запроса, получение ответа и запись его в файл выполняются в параллельных процессах, сам цикл по их запуску должен выполниться очень быстро, а дальше надо ждать самого медленного curl.

[NO_GLITCH]

В том то и проблема - надо ждать curl. Поэтому время выполнения моего примера в вопросе и вашего ответа абсолютно идентичны.

[jcmvbkbc]

Ваш пример в вопросе вообще не работает, в отличие от моего. Вы б хоть его попробовали, для разнообразия.
В моём примере не надо ждать curl после каждого запуска.

Answer 3

[Алексей Шумкин]

Влад Животнев уже дал правильный ответ :)
Вы пошли неэффективной дорогой и пытаетесь накостылить неэффективные решения, вместо того, чтобы выйти на правильную дорогу (parallel)