Saboteur

кода done < <(ls -1 "./my_temp_dir/")

ls -1 выводит содержание каталога в одну строку по одному наименованию
<(blabla) создает из команды поток, который передается как файловый десктриптор
< перенаправление данных из файлового дескриптора в предыдущую команду
done является частью цикла, поэтому перенаправление идет не в done а в весь блок цикла.

sed -i -r 's/^CONFIG="(.*) OUTPUT"/CONFIG="\1 OUTPUT CONSOLE"/g' file.txt

Пример:

$ echo 'CONFIG="USER OUTPUT"'|sed -r 's/^CONFIG="(.*) OUTPUT"/CONFIG="\1 OUTPUT CONSOLE"/g'
CONFIG="USER OUTPUT CONSOLE"

sudo su -l user -c 'pip3 install --user bs4 lxml requests'

под sudo, команда su не будет запрашивать пароль.

Это ответ начала установки tcp соединения?

Нет конечно, это уже ответ от вашего TCP сервера. Скорее всего там какой-то простое приложение которое по telnet протоколу в ответ на PING возвращает вам "PONG"

declare -a array=( a b c d e f g h i j k l m n o p q r s t u v w x w z a b c d e f g h i j k )
declare -i j=1 k=6

for item in ${array[@]}; do
  j+=1
  printf "$item "
  if [ $j -gt $k ]; then
    printf "\n$k"
    k=$k+6
  fi
done

>bash.exe a.sh
a b c d e f
6
g h i j k l
12
m n o p q r
18
s t u v w x
24
w z a b c d
30
e f g h i j
36
k

Насколько я понимаю раньше шеллы использовались в качестве примитивных высокоуровневых языков. Сейчас у нас есть Perl, Python, nodejs, php...

Ну давайте вместо рабочего стола пользователю дадим сразу Visual Studio, ведь какая разница как программу запускать - иконкой на рабочем столе, или форкать из высокоуровневого языка?

shell - это оболочка операционной системы. То, что кроме графической есть еще и command line interface - это совершенно нормально и адекватно. И шелл позволяет пользователю и администратору работать в операционной системе гораздо удобнее, чем через язык программирования.

То, что sh/bash и другие, настолько развиты что сами по себе являются неплохими языками программирования - это просто следствие того, что командый интерфейс и создавался тогда, когда каждый пользователь был немного программистом, и следствие того, что cmd line удобен для автоматизации просто по своей архитектуре.
Поэтому Powershell, bash/zsh/ksh будут продолжать развиваться.

Но ты можешь попробовать писать всю автоматизацию на любом другом языке программирования. И со временем немного столкнуться с тем, что скрипт, написанный на шелл 10 лет назад - просто работает, а скрипт написанный на питон 10 лет назад - несовместим.

каждая команда после завершения возвращает код возврата.
для if важно не сравнение чего-либо с чем-либо, а именно код возврата команды, который 0 - успех, не ноль - ошибка.
поэтому if [ A == B ] - это не сравнение а выполнение команды[ ]
так и тутif ping - это не сравнение, а выполнение команды pingи получение ее кода возврата

> /dev/null 2> /dev/null
> - перенаправление вывода stdout в нул
2>перенаправление вывода stderr в нул
Это чтобы на экран команда ничего не выводила - ни основной вывод ни ошибки

p.s. посмотреть код возврата можно через переменную $?

ping -c 1 google.com
echo $?

ping -c 1 google.com1
echo $?

Написал скрипт который по отдельности сжимал папки и копировал на удалённый сервер там распаковывал

Так сжимайте сразу на удаленный сервер

tar cvfz - mydirectory|ssh user@remote_server "cd target_directory;tar xvfz -"

Или даже проще будет запустить несколько экземпляров rsync в фоне через xargs или parallel

Есть три способа
Просто сделать свой цикл, который бежит по всем аргументам
Второй - встроенный getopts
Третий - правильный getopt. Он умеет и в длинные и короткие опции.

Вот накидал правильный пример для getopt вроде как все как рекомендовано.
Указаны доступные короткая опция -h и длинные --help и --start, при этом --start требует дополнительного аргумента.

function usage {
  echo "        Syntax:"
  echo " $0 -h"
  echo " $0 --help"
  echo " $0 -start <environment>"
}
OPTSTR=$(getopt --name $0 --options h --longoptions help,start: -- $@)
[ $? -ne 0 ] && echo "ERROR: wrong option" && usage && exit 1
[ $# -eq 0 ] && echo "ERROR: no arguments" && usage && exit 1

eval set -- "${OPTSTR}"
# parse all arguments.
while true; do
  case "${1}" in
    -h|--help)  usage; exit 0;;
    --start) ENV="${2}"; shift 2;;
    --)         break;;
    *)          echo "ERROR: unknown"; usage; exit 1;;
  esac
done

echo "Starting program with environment: ${ENV}"