Можно ли в BASH присвоить переменной результат выполнения CURL с запросом содержащим другую переменную?

Question

[Just Pixel]

Стоит задача: есть документ, в котором множество строк. Необходимо циклом перебрать все строки из файла, каждую строку необходимо использовать как часть URL к которому идет обращение при использовании CURL. Результат же выполнения сервера хотелось бы тоже присвоить переменной, так как результат необходимо обработать и сохранить как файл.

#!/bin/bash
FILE=$1
while read LINE; do
     RESULT=$(curl https://domain.com/get?foo1=$LINE)
     echo "Это строка: $LINE & $RESULT"
done < $FILE

Я пробовал добавлять переменную LINE разными способами, но всегда удавалось либо использовать переменную в CURL, либо присвоить результат выполнения CURL в переменную, но так и не удалось совместить. Я пользователь Windows и весьма далек от bash, поэтому решил попросить помощи у сообщества.

Заранее спасибо за любую помощь в вопросе.

Comments

[Just Pixel]

В данный момент тестирую на файле с содержимым:
Первый
Второй
Третий

При выполнении ошибка в консоли:
curl: (3) Illegal characters found in URL
& строка: Первый
curl: (3) Illegal characters found in URL
& строка: Второй
curl: (3) Illegal characters found in URL
& строка: Третий

Answer 1

[CityCat4]

#!/bin/bash
FILE=$1
while read LINE; do
     bla=`curl https://domain.com/get?foo1=$LINE`
     RESULT=eval $bla
     echo "Это строка: $LINE & $RESULT"
done < $FILE

Comments

[Just Pixel]

Попробовал выполнить следующий код:

#!/bin/bash
FILE=$1
while read LINE; do
     bla=`curl https://postman-echo.com/get?foo1=$LINE`
     RESULT=eval $bla
     echo ${LINE}
     echo ${RESULT}
done < $FILE

В URL почему-то не подставляется $LINE. Результат выполнения:
curl: (3) Illegal characters found in URL
1
eval
curl: (3) Illegal characters found in URL
2
eval
curl: (3) Illegal characters found in URL
3
eval

1,2,3 - это текст из строк, получаемых с файла и которые должны подставляться в URL.

[Sergey Ch]

Just Pixel, походу в вашей переменной LINE есть символы, которые не могут быть в URI?
Список допустимых символов согласно RFC:

ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789-._~:/?#[]@!$&'()*+,;=

Все, что не входит в данный список должно быть закодировано с помощью %

[Just Pixel]

ZooMik, я поменял текст в файле на 1,2,3 - каждая строка это всего лишь одна цифра. Но и так не работает.
Интересно, могут ли быть проблемы в bash, если bash используется как Linux Subsystem в Windows? По идее вряд ли.

[Just Pixel]

Sergey Ch, приношу свои извинения за свою глупость, но в текстовике моем использовались переносы CRLF, поменял на LF и Ваш способ отлично заработал! Большое спасибо!

[Sergey Ch]

Добавьте в скрипт опцию для отладки set -x и пришлите вывод.

[Just Pixel]

Sergey Ch,
если оставить CRLF вывод получается такой:
+ FILE=words.txt
+ read LINE
+ curl https://postman-echo.com/get?foo1= 1
curl: (3) Illegal characters found in URL
+ RESULT=
+ echo 1
1
+ echo

+ read LINE
+ curl https://postman-echo.com/get?foo1=2
curl: (3) Illegal characters found in URL
+ RESULT=
+ echo 2
2
+ echo

+ read LINE
+ curl https://postman-echo.com/get?foo1=3
curl: (3) Illegal characters found in URL
+ RESULT=
+ echo 3
3
+ echo

+ read LINE

Если установить перевод строк LF то CURL выполняется. Однако, почему-то в первой итерации цикла у $LINE перед значением появляется лишний пробел.

[Saboteur]

Только вместо `CMD` лучше использовать $(CMD)

[Sergey Ch]

Вот вам и WSL ))
Попробуйте принудительно удалить пробелы. Например, с помощью sed:

#!/bin/bash
FILE=$1
while read LINE; do
     URL=$(echo "https://postman-echo.com/get?foo1=$LINE" | sed "s/ //g")
     RESULT=$(curl "$URL")
     echo ${LINE}
     echo ${RESULT}
done < $FILE

[Just Pixel]

Sergey Ch, sed отлично помог. Только в процессе тестов оказалось, что это был "zero width no-break space", который тот же sed отлично удалил. Теперь все работает просто идеально - так, как и задумывалось. =)
Большое спасибо за помощь!

Answer 2

[Дмитрий Шицков]

RESULT=$(curl "https://domain.com/get?foo1=${LINE}")

Comments

[Just Pixel]

Попробовал выполнить код:

#!/bin/bash
FILE=$1
while read LINE; do
     RESULT=$(curl https://postman-echo.com/get?foo1=${LINE})
     echo ${LINE}
     echo ${RESULT}
done < $FILE

Результат выполнения:
curl: (3) Illegal characters found in URL
1
curl: (3) Illegal characters found in URL
2
curl: (3) Illegal characters found in URL
3

То есть переменная по прежнему не подставляется в CURL