Bash. Как прочитать лог файл в переменную после перенаправления «динамического вывода» &> file.log?

Question

[Константин]

Здравствуйте.
Цель: в bash скрипте выполнить внешнюю команду и записать вывод и ошибки в переменную, но без динамических изменений (проценты, скорость).
Вариант через

OUTPUT=`megacmd sync /tmp/site/ mega:/backup/latest/ 2>&1`

megacmd sync /tmp/site/ mega:/backup/latest/ > log.txt 2>&1
OUTPUT=`cat log.txt`

получается с динамическими строчками (смотреть пример вывода ниже КОД-2) как в переменной, так и в файле.

Программа выводит процент загруженного файла и скорость загрузки, это всё в одной строке.
После завершения выполнения программы вывод получается такой:
КОД-1

# megacmd sync /tmp/site/ mega:/backup/latest/
Found 1 file(s) to be copied
Copying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 100.00 % of 5.9MB at 154K/s 39s
Successfully sync /tmp/site/ to mega:/backup/latest/ in 39s

где строка

Copying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 100.00 % of 5.9MB at 154K/s 39s

в течении некоторого времени изменялась (проценты, скорость)

Но дальше появляется проблема: если в консоле вывести содержимое
cat log.txt
Вывод будет идентичен первому примеру (КОД-1)

А если открыть файл в текстовом редакторе или считать в переменную через
OUTPUT=$(cat log.txt)
то переменная OUTPUT будет содержать совершенно другой результат:
КОД-2

Found 1 file(s) to be copied

[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 0.00 % of 5.9MB at 0B/s 0s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 0.00 % of 5.9MB at 0B/s 1s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 0.00 % of 5.9MB at 0B/s 2s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 2.24 % of 5.9MB at 46KB/s 2s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 2.24 % of 5.9MB at 46KB/s 3s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 2.24 % of 5.9MB at 46KB/s 4s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 6.71 % of 5.9MB at 68KB/s 5s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 6.71 % of 5.9MB at 68KB/s 6s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 6.71 % of 5.9MB at 68KB/s 7s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 6.71 % of 5.9MB at 68KB/s 8s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 85KB/s 9s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 85KB/s 10s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 85KB/s 11s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 85KB/s 12s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 101K/s 12s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 101K/s 14s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 101K/s 15s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 101K/s 16s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 101K/s 17s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 101K/s 18s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 101K/s 19s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 101K/s 20s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 101K/s 21s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 35.80 % of 5.9MB at 95KB/s 21s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 35.80 % of 5.9MB at 95KB/s 22s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 35.80 % of 5.9MB at 95KB/s 23s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 46.99 % of 5.9MB at 114K/s 24s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 46.99 % of 5.9MB at 114K/s 25s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 46.99 % of 5.9MB at 114K/s 26s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 46.99 % of 5.9MB at 114K/s 27s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 48.53 % of 5.9MB at 104K/s 27s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 137K/s 27s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 137K/s 28s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 137K/s 29s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 137K/s 30s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 156K/s 30s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 156K/s 31s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 156K/s 32s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 156K/s 33s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 156K/s 34s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 156K/s 35s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 156K/s 36s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 156K/s 37s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 100.00 % of 5.9MB at 154K/s 37s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 100.00 % of 5.9MB at 154K/s 39s 
Successfully sync /tmp/site/ to mega:/backup/latest/ in 39s

Вопрос: как можно записать в переменную вывод/лог, как если бы я сделал "cat log.txt" в консоле линукс (чтобы получить вывод КОД-1)?
Или возможно ли сразу записать в переменную вывод как в КОД-1?
Спасибо.

Answer 1

[AUser0]

Вывод _И_ ошибки нужно записывать так:

megacmd sync /tmp/site/ mega:/backup/latest/ >log.txt 2>&1

Код "[2K" в начале каждой строки "Copying ..." заставляет консоль переместить текстовый курсор в начало строки. Поэтому каждая следующая строка отображается поверх предыдущей строки, и именно поэтому проценты в этой строке меняются, а экран не заполняется строками.

А вот как из всего набора строк оставить только последнюю, с максимальным процентом... Хмммм... Один из вариантов:

head -n1 log.txt >log2.txt ; grep 'Copying ' log.txt | tail -n1 >>log2.txt ; tail -n1 log.txt >>log2.txt

Comments

[Константин]

> Вывод _И_ ошибки нужно записывать так:
так это тоже самое, только вы конкретно говорите программе выводить поток ошибок, в поток вывода.
а в варианте
&>
мы сразу всё направляем в лог без деталей и подробностей. Чем проще, тем лучше, зачем себе усложнять и путать себя? Или я не прав? :)

> Один из вариантов:
Спасибо, я сразу об примерно таком варианте подумал, но решил что может есть какой то ключ

OUTPUT=`cat -superMegaKeyForEmulateConsole log.txt`

[Константин]

Но вариант с вырезанием нужных строк не универсален, т.к. файлов может быть много и 2 и 3 и 10.

Found 7 file(s) to be copied

[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 0.00 % of 5.9MB at 0B/s 0s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 0.00 % of 5.9MB at 0B/s 1s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 0.00 % of 5.9MB at 0B/s 2s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 0.00 % of 5.9MB at 0B/s 3s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 0.00 % of 5.9MB at 0B/s 4s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 2.24 % of 5.9MB at 28KB/s 4s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 2.24 % of 5.9MB at 28KB/s 5s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 2.24 % of 5.9MB at 28KB/s 6s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 2.24 % of 5.9MB at 28KB/s 7s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 6.71 % of 5.9MB at 50KB/s 7s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 6.71 % of 5.9MB at 50KB/s 8s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 6.71 % of 5.9MB at 50KB/s 9s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 6.71 % of 5.9MB at 50KB/s 10s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 6.71 % of 5.9MB at 50KB/s 11s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 6.71 % of 5.9MB at 50KB/s 12s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 60KB/s 13s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 60KB/s 14s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 60KB/s 15s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 60KB/s 16s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 60KB/s 17s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 60KB/s 18s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 60KB/s 19s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 60KB/s 20s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 60KB/s 21s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 13.43 % of 5.9MB at 60KB/s 22s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 25s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 26s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 27s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 28s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 29s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 30s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 31s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 32s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 33s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 34s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 35s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 36s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 37s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 38s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 39s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 22.38 % of 5.9MB at 52KB/s 40s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 33.57 % of 5.9MB at 48KB/s 40s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 33.57 % of 5.9MB at 48KB/s 41s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 33.57 % of 5.9MB at 48KB/s 42s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 33.57 % of 5.9MB at 48KB/s 43s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 33.57 % of 5.9MB at 48KB/s 44s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 33.57 % of 5.9MB at 48KB/s 45s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 33.57 % of 5.9MB at 48KB/s 47s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 46.99 % of 5.9MB at 58KB/s 47s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 62.66 % of 5.9MB at 76KB/s 47s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 62.66 % of 5.9MB at 76KB/s 48s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 62.66 % of 5.9MB at 76KB/s 49s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 62.66 % of 5.9MB at 76KB/s 50s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 73KB/s 51s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 73KB/s 52s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 73KB/s 53s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 73KB/s 54s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 73KB/s 55s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 73KB/s 56s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 73KB/s 57s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 73KB/s 58s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 73KB/s 59s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 73KB/s 1m0s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 73KB/s 1m1s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 64.20 % of 5.9MB at 73KB/s 1m2s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 76KB/s 1m3s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 76KB/s 1m4s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 76KB/s 1m5s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 76KB/s 1m6s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 76KB/s 1m7s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 76KB/s 1m8s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 76KB/s 1m9s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 82.10 % of 5.9MB at 76KB/s 1m10s 
[2KCopying /tmp/site/1.tar -> mega:/backup/latest/1.tar # 100.00 % of 5.9MB at 82KB/s 1m11s 

[2KCopying /tmp/site/FILE-site_(2020.02.06_12-47-34).tar -> mega:/backup/latest/FILE-site_(2020.02.06_12-47-34).tar # 0.00 % of 10KB at 0B/s 0s 
[2KCopying /tmp/site/FILE-site_(2020.02.06_12-47-34).tar -> mega:/backup/latest/FILE-site_(2020.02.06_12-47-34).tar # 0.00 % of 10KB at 0B/s 1s 
[2KCopying /tmp/site/FILE-site_(2020.02.06_12-47-34).tar -> mega:/backup/latest/FILE-site_(2020.02.06_12-47-34).tar # 100.00 % of 10KB at 9.5K/s 1s 

[2KCopying /tmp/site/FILE-site_(2020.02.06_13-07-13).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-07-13).tar # 0.00 % of 10KB at 0B/s 0s 
[2KCopying /tmp/site/FILE-site_(2020.02.06_13-07-13).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-07-13).tar # 100.00 % of 10KB at 15KB/s 0s 

[2KCopying /tmp/site/FILE-site_(2020.02.06_13-12-31).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-12-31).tar # 0.00 % of 10KB at 0B/s 0s 
[2KCopying /tmp/site/FILE-site_(2020.02.06_13-12-31).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-12-31).tar # 0.00 % of 10KB at 0B/s 1s 
[2KCopying /tmp/site/FILE-site_(2020.02.06_13-12-31).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-12-31).tar # 0.00 % of 10KB at 0B/s 2s 
[2KCopying /tmp/site/FILE-site_(2020.02.06_13-12-31).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-12-31).tar # 0.00 % of 10KB at 0B/s 3s 
[2KCopying /tmp/site/FILE-site_(2020.02.06_13-12-31).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-12-31).tar # 0.00 % of 10KB at 0B/s 4s 
[2KCopying /tmp/site/FILE-site_(2020.02.06_13-12-31).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-12-31).tar # 0.00 % of 10KB at 0B/s 5s 
[2KCopying /tmp/site/FILE-site_(2020.02.06_13-12-31).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-12-31).tar # 100.00 % of 10KB at 1.8K/s 5s 

[2KCopying /tmp/site/FILE-site_(2020.02.06_13-14-21).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-14-21).tar # 0.00 % of 10KB at 0B/s 0s 
[2KCopying /tmp/site/FILE-site_(2020.02.06_13-14-21).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-14-21).tar # 100.00 % of 10KB at 10KB/s 1s 
[2KCopying /tmp/site/FILE-site_(2020.02.06_13-14-21).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-14-21).tar # 100.00 % of 10KB at 10KB/s 2s 

[2KCopying /tmp/site/FILE-site_(2020.02.06_13-18-05).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-18-05).tar # 0.00 % of 10KB at 0B/s 0s 
[2KCopying /tmp/site/FILE-site_(2020.02.06_13-18-05).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-18-05).tar # 100.00 % of 10KB at 15KB/s 0s 

[2KCopying /tmp/site/FILE-site_(2020.02.06_13-21-19).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-21-19).tar # 0.00 % of 10KB at 0B/s 0s 
[2KCopying /tmp/site/FILE-site_(2020.02.06_13-21-19).tar -> mega:/backup/latest/FILE-site_(2020.02.06_13-21-19).tar # 100.00 % of 10KB at 15KB/s 0s 
Successfully sync /tmp/site/ to mega:/backup/latest/ in 1m23s

[Константин]

по поводу 2>&1 вы правы, были. Спасибо.

Answer 2

[Saboteur]

А так пробовали?

RESULT=$(megacmd sync /tmp/site/ mega:/backup/latest/ 2>&1)
echo "Exit code: $?"
echo "Result: $RESULT"

Comments

[Константин]

спасибо за вариант, но я ошибся, вывод в переменную есть, но он заполняется всеми вариациями динамических изменений (проценты, скорость). Но заполняется перменная :)

[Saboteur]

vebmaster, Так уточните что именно вам нужно

[Saboteur]

можете записать в один лог вывод, в другой лог ошибки. Для этого и существуют stdout и stderr
cmd > file.log 2>error.log

при этом >file.log это тоже самое, что 1>file.log (stdout первый поток по умолчанию, поэтому обычно его номер не указывают).

Либо можно еще так
result=$(cmd 2>error.log)
при это в result - вывод команды, в error.log - вывод ошибок.

[Константин]

Saboteur, нужно чтобы в переменной был вывод как в КОД-1, а щас получается как КОД-2. Даже через файл.

[Saboteur]

Ну вы же понимаете, что так невозможно.
Вы используете megacmd, который внутри себя может содержать различные команды, которые будут выводить текст.
Надо смотреть что находится внутри megacmd, смотреть какими командами выполняется копирование файла и как организован вывод этих процентов.
Их нужно отключать именно внутри megacmd, а не снаружи.

[Константин]

Saboteur, я всё таки решил отказаться от данной программы по другой уже причине. Но всё равно интересно решение, в дальнейшем возможно пригодится.
Я сделаю другой пример, чтобы вы могли его воспроизвести.

Берём любой файл, например на 10 мб -www.ovh.net/files/10Mio.dat
(можете взять на 100мб www.ovh.net/files/100Mio.dat )
и скачиваем через консоль, через curl. Получаем в итоге вот такой вывод:

curl -o 1.zip http://www.ovh.net/files/10Mio.dat
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 10.0M  100 10.0M    0     0  1161k      0  0:00:08  0:00:08 --:--:--  871k

Но если записать вывод в файл:

curl -o 1.zip http://www.ovh.net/files/10Mio.dat &> log.txt

и открыть текстовым редактором, то получится так:

% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed

  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
  0 10.0M    0  2577    0     0   7259      0  0:24:04 --:--:--  0:24:04  7259
  4 10.0M    4  425k    0     0   330k      0  0:00:31  0:00:01  0:00:30  329k
 12 10.0M   12 1302k    0     0   567k      0  0:00:18  0:00:02  0:00:16  567k
 25 10.0M   25 2584k    0     0   784k      0  0:00:13  0:00:03  0:00:10  784k
 37 10.0M   37 3883k    0     0   905k      0  0:00:11  0:00:04  0:00:07  905k
 54 10.0M   54 5536k    0     0  1047k      0  0:00:09  0:00:05  0:00:04 1121k
 74 10.0M   74 7641k    0     0  1214k      0  0:00:08  0:00:06  0:00:02 1442k
 83 10.0M   83 8506k    0     0  1160k      0  0:00:08  0:00:07  0:00:01 1429k
 88 10.0M   88 9047k    0     0  1091k      0  0:00:09  0:00:08  0:00:01 1292k
 92 10.0M   92 9474k    0     0  1015k      0  0:00:10  0:00:09  0:00:01 1109k
 95 10.0M   95 9820k    0     0   954k      0  0:00:10  0:00:10 --:--:--  856k
 98 10.0M   98  9.8M    0     0   893k      0  0:00:11  0:00:11 --:--:--  492k
100 10.0M  100 10.0M    0     0   877k      0  0:00:11  0:00:11 --:--:--  399k

Но если сделать cat в консоле этого же файла, то будет так:

# cat log.txt
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 10.0M  100 10.0M    0     0   877k      0  0:00:11  0:00:11 --:--:--  399k

Вопрос: как записать в переменную вывод как в консоле?
Вариант с вытаскиванием первой и последней строки не считается, т.к. программа может быть любая и вывод любой.

[Saboteur]

Не может такого быть в лог файле.
Видимо первый раз, когда вы открывали файл текстовым редакторо, это был совершенно другой файл (что собственно видно по размеру).
А второй раз - маленький, поэтому он успел скачаться за один "тик" прогресс бара.

Вам точно нужна эта статистика - сколько было скачано?
Если нет, то просто делаете
curl --progress-bar .....
или вообще
curl -s .....

[Константин]

может, поэтому я вам привёл пример, который может выполнить любой, попробуйте
curl -o 1.zip www.ovh.net/files/10Mio.dat &> log.txt
или на 100мб, если скорость большая
curl -o 1.zip www.ovh.net/files/100Mio.dat &> log.txt

Размеры разные, потому что первая команды выполнялась без перенаправления вывода, вторая с.

[Saboteur]

Тут дело в том, что на самом деле файл содержит все строки

Просто в редакторе управляющие символы, которые перезатирают вывод не срабатывают, и вы видите все строки. А в cat он срабатывают, и вы видите только последние.
Проверьте сами
cat -v log.txt

Просто так работает прогресс-бар от curl, он использует контрольные esc-последовательности, чтобы перезаписывать в консоли текущий прогресс.
Чтобы решить проблему, нужно либо использовать программу, в которой есть опции для отключения лишнего вывода, либо этот лишний вывод парсить, для чего нужно смотреть что там выводится.

Answer 3

[xotkot]

awk '$1 == "Found" || $1 == "Successfully" || /100.00 %/' log.txt

Comments

[Константин]

спасибо, записал на всякий случай.
Но Смысл данного деяния другой - в диагностике, если вдруг передача оборвётся, не достигнув 100%.
Я остановился на варианте поиска в этом файле строки "Successfully sync".
Если она есть, то синхронизация прошла успешно, если нет, то копирую этот лог в отдельную папку для ручной диагностики.

Answer 4

[Karpion]

напрямую в переменную вывод всегда получается пустой

Вы бы написали, как Вы это делаете. Если Вы перенаправляете знаком "больше" - то это только в файл. Поместить вывод команды в переменную можно двумя способами:

переменная=`команда`
переменная=$(команда)

Команда м.б. с аргументами. В Вашем случае, видимо, она должна содержать ещё и 2>&1 (собственно, про это уже написали).

Comments

[Константин]

Изменил первый пост полностью.
Если коротко, то:
возможно ли записать вывод программы и ошибки в переменную, но без динамических изменений (проценты, скорость)? Чтобы было как на КОД-1, а не как КОД-2

[Karpion]

Очевидно, что программа megacmd много раз выводит то, что оказалось в файле. Просто она выводит это так, что новый вывод затирает старый. Т.е. там содержатся спецсимволы - посмотрите их в хекс-редакторе.

Я советую как-то так:

OUTPUT=`megacmd sync /tmp/site/ mega:/backup/latest/ 2>&1 | grep =v '%'`

(т.е. убрать все строки с процентами).

[Константин]

Karpion,
вывод в 1 строку вот такой был:

Found 3 file(s) to be copied Successfully sync /tmp/site/ to mega:/1/ in 1m12s

Спасибо, интересный вариант :)