xotkot

Question

Linux
+2 ещё

Как узнать имя предыдущей команды в скрипте ?

4 подписчика
более трёх лет назад
2869 просмотров

3

ответа

Answer 1 · 2022-04-27 19:01:20

xotkot @xotkot

хорошо есть и хорошо весьма

а ведь можно проще:

awk '{system("sed -i s/"$1"/"$2"/g file.txt")}' name.txt

Ответ написан более года назад

2 комментария

Answer 2 · 2022-02-19 21:42:40

это вполне легко можно реализовать на самом баше в несколько строк, если нужен именно руби то можете просто взять за основу как отправную точку для своей реализации

список всех программ расположенных в $PATH
$ ls ${PATH//:/ } |awk 'NF && !/:$/'

список, а точнее описание, встроенных(builtin) команд в оболочку bash можно посмотреть с помощью команды help
$ help

но думаю правильнее будет использовать type для определения типа команды

$ type -t rg
file
$ type -t cd
builtin

$ type --help
...
-t	output a single word which is one of `alias', `keyword',
	`function', `builtin', `file' or `', if NAME is an alias,
	shell reserved word, shell function, shell builtin, disk file,
	or not found, respectively

тип file по сути это чисто внешние программы, а builtin - внутреннии, на счет остальных могут быть нюансы, то есть при проверке через type оставляем тока те утилиты которые возвращают file.

В итоге мы можем сгенерировать список(file.txt) чисто внешних программ из тех что лежат в $PATH:

$ for i in $(ls ${PATH//:/ } |awk 'NF && !/:$/');do [[ $(type -t $i) == "file" ]] && echo $i;done > file.txt

Допустим у нас есть файл test.txt с историей команд:

sudo ls  | awk '!($NF ~ /\.[a-z]+$/)'
for i in ~/*; do echo $(locate -c -r $i) $i; done | pv | sort -nr | bcat -t
for f in *.zip; do unzip $f; done
RACK_HANDLER=falcon rails s

тогда:

$ grep -o -w -n -f file.txt test.txt
1:sudo
1:awk
2:pv
2:sort
3:zip
3:unzip

единственный недостаток это каждое совпадение пишет с новой строки, исправляем с помощью awk:

$ grep -o -w -n -f file.txt test.txt |awk -F: '{if($1!=i){printf $2" "}else{print $2};i=$1}'
sudo awk
pv sort
zip unzip

если сравнивать с вашим шаблоном:

sudo ls awk
pv sort bcat
unzip
rails

то мы видим что нету ls это из за того что, например, у меня это alias основанный на exa - внешней программе, хотя с таким же успехом это могла быть внутренняя программа, та же ls с подобранными ключами, но её бы тоже здесь бы не отобразило, в общем если алиасы включать в вывод то по идее их тоже нужно будет анализировать в отдельном обработчике.

также естественно что иногда будут происходить косяки как например тут с zip при анализе строки
for f in *.zip; do unzip $f; done
zip тут не выступает в роли программы, но это всё же слово которое совпало с нашим списком утилит.
bcat и rails не вывело так как данных программ не установленно.

в общем если кратко то всё это реализовывается в два однострочника на bash:

$ for i in $(ls ${PATH//:/ } |awk 'NF && !/:$/');do [[ $(type -t $i) == "file" ]] && echo $i;done > file.txt
$ grep -o -w -n -f file.txt test.txt |awk -F: '{if($1!=i){printf $2" "}else{print $2};i=$1}'

Answer 3 · 2021-11-20 13:46:04

если знать точные даты начала и конца то легко:

awk '/router.php/' example.com.log | awk '/\[16\/Nov\/2021:15:15:56 -0500\]/,/\[17\/Nov\/2021:15:15:56 -0500\]/' | wc -l

п.с.
если делать конкретно через date, а не тупо обрабатывать как строки что проще но нужно знать конкретный диапазон, то необходимо учитывать некоторые нюансы, ту же локаль, так как у вас или кого-то другой кто будет у себя запускать данную команду может быть отличная локаль для даты чем в самом логе
сравните

$ date -d now
$ LANG=ru_RU.UTF-8 date -d now
$ LANG=en_US.UTF-8 date -d now

сами локали естественно должны быть доступны в системе, проверить можно утилитой localectl:

$ localectl list-locales
en_US.UTF-8
ru_RU.UTF-8

также +0300 это не просто так, и если обрабатывать скрипт находясь в другом часовом поясе то может произойти смещение по времени в ту или иную сторону
так что если внести поправки на часовой пояс( %z) + локаль, получим:

LANG=en_US.UTF-8 date -d 'now-24hours' +'[%d/%b/%Y:%H:%M:%S %z]'

но проще всего, как по мне, это перевести дату в unix timestamp (количество секунд от начала эпохи юникс), это позволит нам не заморачиваться с локалью и часовым поясом, а полученное число(секунд) будет абсолютно и уже можно без проблем сравнить с другим числом(секунд) от того периода который нам нужен.

cat example.ru.log  | awk -F'[][/:]' '/router.php/{"date +%s -d \""$2"-"$3"-"$4" "$5":"$6":"$7"\"" | getline z; print z" "$0}'

здесь мы преобразовали к понятному date формату, а потом перевели в юникс время( +%s) и получившейся результат просто добавили к началу строки.

результат

1637320437 212.193.33.123 - - [19/Nov/2021:14:13:57 +0300] "GET /router.php HTTP/1.0" 301 445 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
1637320437 212.193.33.123 - - [19/Nov/2021:14:13:57 +0300] "GET /router.php HTTP/1.0" 301 445 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
1637320438 212.193.33.123 - - [19/Nov/2021:14:13:58 +0300] "GET /router.php HTTP/1.0" 301 449 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
1637321647 212.193.33.123 - - [19/Nov/2021:14:34:07 +0300] "GET /router.php HTTP/1.0" 301 449 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
1637321647 212.193.33.123 - - [19/Nov/2021:14:34:07 +0300] "GET /router.php HTTP/1.0" 301 447 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
1637321648 212.193.33.123 - - [19/Nov/2021:14:34:08 +0300] "GET /router.php HTTP/1.0" 301 446 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
1637321650 212.193.33.123 - - [19/Nov/2021:14:34:10 +0300] "GET /router.php HTTP/1.0" 301 445 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
1637321650 212.193.33.123 - - [19/Nov/2021:14:34:10 +0300] "GET /router.php HTTP/1.0" 301 451 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
1637321651 212.193.33.123 - - [19/Nov/2021:14:34:11 +0300] "GET /router.php HTTP/1.0" 301 445 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
1637324092 212.193.33.123 - - [19/Nov/2021:15:14:52 +0300] "GET /router.php HTTP/1.0" 301 449 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
1637326108 212.193.33.123 - - [19/Nov/2021:15:48:28 +0300] "GET /router.php HTTP/1.0" 301 447 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
1637327153 212.193.33.123 - - [19/Nov/2021:16:05:53 +0300] "GET /router.php HTTP/1.0" 301 446 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

дату 1 день(24 часа) назад можно узнать так:
date +%s -d 'now-1day'
или даже так
echo $[`date +%s` - 24*60*60]
просто отняв от текущего количество нужных секунд

в итоге получим:

cat example.ru.log |awk -F'[][/:]' '/router.php/{"date +%s -d \""$2"-"$3"-"$4" "$5":"$6":"$7"\"" | getline z; print z" "$0}' | awk -v t=$[`date +%s` - 24*60*60] '$1>=t'

теперь при желании можно легко расширить и указывать диапазон поиска от(t1) и до(t2)

cat example.ru.log |awk -F'[][/:]' '/router.php/{"date +%s -d \""$2"-"$3"-"$4" "$5":"$6":"$7"\"" | getline z; print z" "$0}' | awk -v t1=`date +%s -d '19-Nov-2021 15:00:00 +0300'` -v t2=`date +%s -d '19-Nov-2021 16:00:00 +0300'` '$1>=t1 && $1<=t2'

здесь ищем в диапазоне одного часа
от 19-Nov-2021 15:00:00 +0300
до 19-Nov-2021 16:00:00 +0300

результат

1637324092 212.193.33.123 - - [19/Nov/2021:15:14:52 +0300] "GET /router.php HTTP/1.0" 301 449 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +www.google.com/bot.html)"
1637326108 212.193.33.123 - - [19/Nov/2021:15:48:28 +0300] "GET /router.php HTTP/1.0" 301 447 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 (compatible; Googlebot/2.1; +www.google.com/bot.html)"

Answer 4 · 2021-07-09 10:33:58

если нужно в динамике - одновременно выводить на консоль, писать в файл и тут же сразу построчно анализировать поступающую информацию, то тут чуть сложнее, хоть и не немного, вот небольшой пример:
работа через файл

#!/usr/bin/env bash

# функции бот1 и бот2 которые постоянно выводят рандомно числа от 0 до 9 с интервалом в 2 секунды
bot1(){
	while true; do
		echo "Bot1: $[RANDOM%10]"
		sleep 2
	done
}

bot2(){
	while true; do
		echo "Bot2: $[RANDOM%10]"
		sleep 2
	done
}

# путь к лог-файлу куда будем писать логи от ботов
LOG=/tmp/botsLog.txt

# удаляем лог-файл (если ненужно то закоментирвоать)
rm -rf $LOG

# запускаем ботов в фоновом(&) режиме, 
# а также начинаем выводит поступающую от них информацию на консоль и писать в общий лог-файл
bot1 | tee -a $LOG &
sleep 1
bot2 | tee -a $LOG &

# функция анализа лог-файла (потока)
analysisLogs() {
	# запускаем постоянное построчное чтение поступающих данных в функцию
	while read -r data; do
		# здесь мы задаём фильтры и то что выполнить если совпадёт условие
		case "$data" in
			"Bot1: 0" ) echo "Бот 1 выдал ноль"
				;;
			"Bot2: 0" ) echo "Бот 2 выдал ноль"
				;;
		esac
	done
}

# tail выводит поступающие данные по мере роста лог-файла (мониторит)
# в данном случае мы передаём появляющиеся данные из файла в функцию analysisLogs
tail -f $LOG | analysisLogs 

# это необходимо чтобы главная программа преждевременно не завершилась 
# пока не завершаться запущенные в ней фоновые(&) потоки
wait

exit

с комментариями думаю будет понятней
ctrl+c завершить скрипт

можно конечно и через переменную сделать но это будет не так красиво да и не по феншую, кстати здесь мы пишем в ОЗУ так как /tmp у большинства дистрибутивов примонтирован в оперативной памяти.

Если же не хочется вообще писать данные на диск или в озу, так как логи обычно склонны к накоплению если их не чистить да или просто ненужны, то можно просто использовать именованный канал(FIFO-файлы) с которым можно работать как с файлом(читать/писать) но при этом он будет выступать просто в роли промежуточного буфера, для этого в нашей программе нужно поменять всего две строчки(создать именованный канал и вместо tail использовать обычный cat )
работа через fifo-файл

#!/usr/bin/env bash

# бот1 и бот2 просто постоянно выводят рандомно числа от 0 до 9 с интервалом в 2 секунды
bot1(){
	while true; do
		echo "Bot1: $[RANDOM%10]"
		sleep 2
	done
}

bot2(){
	while true; do
		echo "Bot2: $[RANDOM%10]"
		sleep 2
	done
}

# путь к лог-файлу куда будем писать логи от ботов
LOG=/tmp/botsLog.txt

# удаляем лог-файл
rm -rf $LOG

# создаём именованный канал (FIFO-файл)
mkfifo $LOG

# запускаем ботов в фоновом(&) режиме, 
# а также начинаем выводит поступающую от них информацию на консоль и писать в общий fifo-файл
bot1 | tee -a $LOG &
sleep 1
bot2 | tee -a $LOG &

# функция анализа поступающих данных
analysisLogs() {
	# запускаем постоянное построчное чтение поступающих данных в функцию
	while read -r data; do
		# здесь мы задаём фильтры и то что выполнить если сработает условие
		case "$data" in
			"Bot1: 0" ) echo "Бот 1 выдал ноль"
				;;
			"Bot2: 0" ) echo "Бот 2 выдал ноль"
				;;
		esac
	done
}

# читаем файл(FIFO-файл) и передаём появляющиеся данные в функцию analysisLogs
cat $LOG | analysisLogs 

# это необходимо чтобы главная программа преждевременно не завершилась 
# пока не завершаться запущенные в ней фоновые(&) потоки
wait

exit

Answer 5 · 2021-05-03 12:33:21

если нужно расширить раздел на диске то обычно делается так:
сначала нужно узнать какой диск и какой на нём раздел нужно расширить
какой диск можно глянуть командой
lsblk
допустим это будет диск /dev/sda
по занимаемому разделами месту можно глянуть
занято
sfdisk -l /dev/sda
свободно
sfdisk -F /dev/sda
или просто воспользоваться cfdisk которая покажет всё в псевдо-графическом режиме
cfdisk /dev/sda
пусть это будет второй раздел (/dev/sda2) на диске который нужно расширить до конца диска
если раздел /dev/sda2 примонтирован то его нужно размонтировать:
umount /dev/sda2

далее идут два этапа
1) изменить таблицу разделов(ТР) диска указав нужный размер для разделов
2) изменить сам размер файловой системы(ФС) для данного раздела

1.
на всякий случай сохраним дамп ТР чтобы в случае чего можно было восстановить
sfdisk --dump /dev/sda > sda.dump
потом если нужно будет восстановить
sudo sfdisk /dev/sda < sda.dump
кстати --dump генерирует простой человеко-читаемый формат
теперь в ТР указываем новые границы для раздела /dev/sda2
echo ", +" | sudo sfdisk -N 2 /dev/sda
где -N 2 это второй раздел, ", +" == "начало, размер" раздела, а + это сокращенная запись указывающая на размер который нужно задать по умолчанию, это максимально возможный размер, то есть если после второго раздела идёт пустое пространство вплоть до конца диска то sfdisk растянет раздел до конца диска ну или до начала следующего раздела если он там будет.
проверяем ТР на возможные ошибки
sfdisk -V /dev/sda
вместо вышеописанных манипуляций с sfdisk можно воспользоваться всё той же псевдографической утилитой сfdisk, там довольно просто можно разобраться как изменить ТР (см. [Resize])

2.
теперь нужно растянуть ФС до размеров указанных в ТР
для начала удостоверимся что с ФС всё в порядке
e2fsck -f /dev/sda2
далее идёт само расширение
sudo resize2fs /dev/sda2
данная команда расширяет ФС раздела /dev/sda2 до границ указанных в ТР
ну и напоследок еще раз проверим
e2fsck -f /dev/sda2