Как извлечь названия программ из команды в bash?

Question

[Everything_is_not_so_bad]

Предположим, есть файл истории команд наподобие такого:

sudo ls  | awk '!($NF ~ /\.[a-z]+$/)'
for i in ~/*; do echo $(locate -c -r $i) $i; done | pv | sort -nr | bcat -t
for f in *.zip; do unzip $f; done
RACK_HANDLER=falcon rails s

Необходимо произвести разбор этих строк, чтобы смог извлечь имена используемых программ (желательно, не встроенных в shell). Из примера выше:

sudo ls awk
pv sort bcat
unzip
rails

Я нашел простой модуль Shell::Parser на Перле, который вроде бы то, что мне нужно. Есть какой-то gem с похожей функциональностью?

Answer 1

[xotkot]

это вполне легко можно реализовать на самом баше в несколько строк, если нужен именно руби то можете просто взять за основу как отправную точку для своей реализации

список всех программ расположенных в $PATH
$ ls ${PATH//:/ } |awk 'NF && !/:$/'

список, а точнее описание, встроенных(builtin) команд в оболочку bash можно посмотреть с помощью команды help
$ help

но думаю правильнее будет использовать type для определения типа команды

$ type -t rg
file
$ type -t cd
builtin

$ type --help
...
-t	output a single word which is one of `alias', `keyword',
	`function', `builtin', `file' or `', if NAME is an alias,
	shell reserved word, shell function, shell builtin, disk file,
	or not found, respectively

тип file по сути это чисто внешние программы, а builtin - внутреннии, на счет остальных могут быть нюансы, то есть при проверке через type оставляем тока те утилиты которые возвращают file.

В итоге мы можем сгенерировать список(file.txt) чисто внешних программ из тех что лежат в $PATH:

$ for i in $(ls ${PATH//:/ } |awk 'NF && !/:$/');do [[ $(type -t $i) == "file" ]] && echo $i;done > file.txt

Допустим у нас есть файл test.txt с историей команд:

sudo ls  | awk '!($NF ~ /\.[a-z]+$/)'
for i in ~/*; do echo $(locate -c -r $i) $i; done | pv | sort -nr | bcat -t
for f in *.zip; do unzip $f; done
RACK_HANDLER=falcon rails s

тогда:

$ grep -o -w -n -f file.txt test.txt
1:sudo
1:awk
2:pv
2:sort
3:zip
3:unzip

единственный недостаток это каждое совпадение пишет с новой строки, исправляем с помощью awk:

$ grep -o -w -n -f file.txt test.txt |awk -F: '{if($1!=i){printf $2" "}else{print $2};i=$1}'
sudo awk
pv sort
zip unzip

если сравнивать с вашим шаблоном:

sudo ls awk
pv sort bcat
unzip
rails

то мы видим что нету ls это из за того что, например, у меня это alias основанный на exa - внешней программе, хотя с таким же успехом это могла быть внутренняя программа, та же ls с подобранными ключами, но её бы тоже здесь бы не отобразило, в общем если алиасы включать в вывод то по идее их тоже нужно будет анализировать в отдельном обработчике.

также естественно что иногда будут происходить косяки как например тут с zip при анализе строки
for f in *.zip; do unzip $f; done
zip тут не выступает в роли программы, но это всё же слово которое совпало с нашим списком утилит.
bcat и rails не вывело так как данных программ не установленно.

в общем если кратко то всё это реализовывается в два однострочника на bash:

$ for i in $(ls ${PATH//:/ } |awk 'NF && !/:$/');do [[ $(type -t $i) == "file" ]] && echo $i;done > file.txt
$ grep -o -w -n -f file.txt test.txt |awk -F: '{if($1!=i){printf $2" "}else{print $2};i=$1}'

Comments

[Everything_is_not_so_bad]

Спасибо. Я пока обдумаю этот вариант. Можно задействовать и bash, в случае чего.
К недостаткам можно отнести необходимость периодического обновления списка файлов в file.txt.

[xotkot]

Роман Мирр, обновлять список придётся в любом случае после установки/удалении программ
сам список программ из $PATH генерируется очень быстро, на порядок дольше происходит сравнение по type, но в принципе можно единожды(так как он практически не будет меняться) сформировать файл из того что не соответствует типу file, а после просто вычитать его из основного.
в общем виде будет выглядеть так:

ls ${PATH//:/ } |awk 'NF && !/:$/' > file1.txt
cat file1.txt |while read i; do t=$(type -t $i);[[ $t != "file" && $t != "alias" ]] && echo $i;done > file2.txt
comm -23 <(sort file1.txt) <(sort file2.txt) > file3.txt
grep -o -w -n -f file3.txt test.txt |awk -F: '{if($1!=i){printf $2" "}else{print $2};i=$1}'

file1.txt - все программы из $PATH
file2.txt - программы которые по типу не file и не alias сформировано из file1.txt
здесь alias добавил для разнообразия чтобы меньше заморачиваться с анализом
file3.txt - вычитание file2.txt из file1.txt

file1.txt и file3.txt формируются относительно быстро поэтому можно генерировать их при старте программы ну или при необходимости повесить хук на менеджер пакетов при установки/удалении программ
а file2.txt можно сформировать единожды при первом запуске или установки данной программы и где-то его записать, после чего просто подставлять при вычитании

п.с.
здесь sort в принципе лучше задействовать раньше для оптимизации

ls ${PATH//:/ } |awk 'NF && !/:$/' |sort > file1.txt
cat file1.txt |while read i; do t=$(type -t $i);[[ $t != "file" && $t != "alias" ]] && echo $i;done |sort > file2.txt
comm -23 file1.txt file2.txt > file3.txt
grep -o -w -n -f file3.txt test.txt |awk -F: '{if($1!=i){printf $2" "}else{print $2};i=$1}'