Как с помощью grep и сut получить ip и определённую подстроку из строки?

Question

[Дмитрий Сергеев]

Из лог файла веб-сервера нужно получить пары вида IP: __utma. Строки в файле стандартные, только через "|" сохраняются куки.

80.247.101.110 - - [16/Aug/2013:06:58:23 +0400] "POST /edit HTTP/1.1" 404 327 "http://site.ru/" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.172 YaBrowser/1.7.1364.17262 Safari/537.22" "-" | "__utma=230214667.2058679839.1371519930.1376615440.1376617932.52; __utmc=230214667; __utmz=230214667.1371519930.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)"

Comments

[Amet13]

Только grep и cut нужно? Нельзя ли воспользоваться sed или awk?

[Дмитрий Сергеев]

Можно хоть чем. Просто интересно можно ли только грепом и катом

[3vi1_0n3]

Грепом можно строки, содержащие __utma выдрать, а дальше с каждой из них работать. Можно и cut'ом, но там по полям парсить не очень хорошо ИМХО будет, за счет пробела как делимитера и его же содержания в полях, awk'ом проще

Answer 1

[Amet13]

Раз пошла такая пьянка, то:

cat test.log | awk '{print $1,":",substr($0, index($0,"__utma"),64)}' | sed 's/ : __utma=/: /' | sed 's/;//'

Надеюсь я вас правильно понял?
На выходе:

80.247.101.110: 230214667.2058679839.1371519930.1376615440.1376617932.52

Comments

[3vi1_0n3]

Ну, вообще да, неплохо было бы пример результата иметь :)

[Дмитрий Сергеев]

а если нефиксированный размер __utma?

[Amet13]

Во. Вроде так, тогда я поспешил:

cut -d " " -f1,25 test.log | awk '{print $1,":",$2}' | sed 's/ : "__utma=/: /' | sed 's/;//'

80.247.101.110: 230214667.2058679839.1371519930.1376615440.1376617932.52

[3vi1_0n3]

Не, неаккуратненько получается. Если дескриптор браузера короче на одно слово будет, то не попадете в поле номер 25.

[Amet13]

В случае изменения длины __utma, тоже ваш вариант не проходит. Как быть?

[3vi1_0n3]

А так? С одной строчкой просто хуже, чем с файлом.

cat ./data.txt | awk '{print $1,":",substr($0, index($0,"__utma"),index($0,";"))}' | awk '{print $1, $3}' | sed 's/ __utma=/: /g'| sed 's/;//'

Сорри, не то скопировал

[Amet13]

Ваш вариант у меня не заработал правильно, а вот так вроде да:

cat test.log | awk '{print $1,":",substr($0, index($0,"__utma"),index($0,";"))}' | awk '{print $1, $3}' | sed 's/ __utma=/: /' | sed 's/;//'

80.247.101.110: 230214667.2058679839.1371519930.1376615440.1376617932.52

[3vi1_0n3]

Ну, логично :) У вас есть файлик test.log, а у меня есть файлик data.txt

[Amet13]

Не в этом дело, все нормально, вы просто комментарий изменили. Я проверял ваш вариант:

cat test.log | awk '{print $1,":",substr($0, index($0,"__utma"),index($0,";"))}' | awk '{print $1, $3}' | sed 's/" __utma"/": "/'

Вы просто потом дописали его.

[3vi1_0n3]

Ну да, я не ту строчку скопипастил сначала. :)
Главное, что заработало. Удачи вам с логами.

Answer 2

[3vi1_0n3]

Если можно awk, то так:

cat ./data.txt | awk '{print $1,":",substr($0, index($0,"__utma"),64)}'

Comments

[3vi1_0n3]

Это если __utma= всегда значение такой длины

[Amet13]

У меня вывод получается таким:
80.247.101.110 : __utma=230214667.2058679839.1371519930.1376615440.1376617932.52;
А разве должно быть не:
80.247.101.110: 230214667.2058679839.1371519930.1376615440.1376617932.52?

[3vi1_0n3]

Показалось, что пробел есть, сорри. Тогда чуть длиннее:

cat ./data.txt | awk '{print $1,":",substr($0, index($0,"__utma"),64)}' | sed 's/ :/:/'

[3vi1_0n3]

Если само __utma не надо, то его тоже, соответственно, грепнуть

cat ./data.txt | awk '{print $1,":",substr($0, index($0,"__utma"),64)}' | sed 's/ :/:/' | sed 's/__utma=//g'

Но я бы пробелы оставил, пожалуй, если предполагается дальнейший парсинг

Answer 3

[tgz]

Вот как-то так можно:

for line in $(cat log);
do
    ip=$(echo $line | grep -o "^[0-9]\+\.[0-9]\+\.[0-9]\+\.[0-9]\+")
    utma=$(echo $line |grep -o "__utma=\([0-9]\+\.\)\+[0-9]\+" | cut -d '=' -f2 )
    echo -en "$ip $utma\n"
done

Answer 4

[Жепь Ебрилов]

cat log | awk -F"-" '{print $1,$4}' | awk '{print $1":",$4}' | sed 's/"__utma=//g' | sed 's/;$//'