Как правильно распарсить логи с помощью bash?

Question

[Morty Rick]

Добрый день.

Появилось необходимость в логе вида:

RESULT=xxxxx, TIME=2020-01-20 18:43:12, HOST=xxxxxxxxxxx, NAME=xxxxxxxx

что бы в значение TIME время записывалось в абсолютно дебильном виде - TIME=18:43:12.000 +0700 Mon Jan 20 2020. Никак иначе биллинг не принимает.
Быстро и прям в лоб накодил вот такого монстра:

#!/bin/bash

date_prefix=`date -d  '1 hour ago' "+ %z %a %b %d %G"`

cat LOG.csv | while read line
do
date_setup=`echo ${line} | grep -o TIME=................... | awk -F" " -v var="${date_prefix}" {'print $2".000" var'}`
echo ${line} | sed "s/TIME=.................../TIME=$date_setup/g" >> LOG_new.csv
done

Лог файл из 1000 строк переколбасил за 6 сек. Но в бою логов будет 100 000 - 10 минут ждать когда все это сконверится, слишком долго.

Подскажите как еще подойти к этому вопросу? Возможно perl или python с такой задачей справится быстрее.
Возможно этот "дебильный" формат времен - это вообще какой-то стандарт и в него можно ковертнуть одной командой.

Comments

[сергей кузьмин]

Morty Rick в логе не 100000 разных дат верно ? заведите хеш пересчитав каждую дату YYYY -MM-DD в %c формат один раз и седом обработайте лог:

sed -i 's|\([0-9][0-9][0-9][0-9]\)\-\(01\)\-\([0-9][0-9]\)|\3 Jan \1|' a.txt 
sed -i 's|\([0-9][0-9][0-9][0-9]\)\-\(02\)\-\([0-9][0-9]\)|\3 Feb \1|' a.txt 
...

и т.д.

date --help  | grep %c 
  %c   locale's date and time (e.g., Thu Mar  3 23:05:25 2005)

Answer 1

[Сергей П]

Вот такая штука будет работать примерно со скоростью мегабайт в секунду.

cat oldlogfile.log | py -x "', '.join(['='.join((k, datetime.datetime.strptime(v, '%Y-%m-%d %H:%M:%S').strftime('%H:%M:%S.000 +0700 %a %b %d %Y')) if k == 'TIME' else (k, v)) for k, v in ((kv.split('=') for kv in x.split(', ')))])" > newlogfile.log

Измерял так:

yes "RESULT=xxxxx, TIME=2020-01-20 18:43:12, HOST=xxxxxxxxxxx, NAME=xxxxxxxx" \
  | pv \
  | py -x "', '.join(['='.join((k, datetime.datetime.strptime(v, '%Y-%m-%d %H:%M:%S').strftime('%H:%M:%S.000 +0700 %a %b %d %Y')) if k == 'TIME' else (k, v)) for k, v in ((kv.split('=') for kv in x.split(', ')))])" \
  > /dev/null

Зато на порядок понятнее и можно по человечески формат подправить.

Comments

[Morty Rick]

Спасибо.
В итоге вот так было решено:

47M - 101000 строк за 10 сек.

from csv import reader, writer
from datetime import datetime


def main():
    input_file = 'IN.csv'
    output_file = 'OUT_new.csv'

    r = reader(open(input_file))
    lines = list(r)

    for line in lines:
        setuptime = line[13].split("=")[1]
        d_in = datetime.strptime((setuptime), '%Y-%m-%d %H:%M:%S')
        d_out = d_in.strftime('%H:%M:%S.000 +0700 %a %b %d %Y')
        line[13] = " TIME=" + d_out

    write = writer(open(output_file, 'w', newline=''))
    write.writerows(lines)


if __name__ == '__main__':
    main()

[Сергей П]

Morty Rick, А вы не думали, что работать через stdin/stdout будет удобнее? Кроме того можно обрабатывать строки в потоковом режиме и не загружать весь лог в память. На мелких VDS это может быть критично при больших файлах.
Привычка использовать везде стандартный модуль argparse позволит легко и безболезненно выносить в параметры командной строки дополнительные настройки (например в вашем случае форматы дат, часовой пояс, которого нет в исходном файле, имя конвертируемого поля). Плюс ко всему у вас "из коробки" самодокументируемая утилита с хелпом и стандартным unix-way интерфейсом.

Вызывать можно так:

dconv inp_file.log -O out_file.log
cat inp_file.log | dconv -O out_file.log
cat inp_file.log | dconv > out_file.log
pv inp_file.log | dconv | tee out_file.log

from csv import reader, writer
from datetime import datetime
import argparse
import sys


parser = argparse.ArgumentParser(description='Convert dates')
parser.add_argument(
    'infile',
    type=argparse.FileType('r'), nargs='?', default=sys.stdin, help='Input log file (STDIN by default).')
parser.add_argument(
    '-O', dest='outfile',
    type=argparse.FileType('w'), default=sys.stdout, help='File to write output (STDOUT by default).')


def main(argv=None):
    args = parser.parse_args(argv)
    write = writer(args.outfile)
    for line in reader(args.infile):
        setuptime = line[13].split("=")[1]
        d_in = datetime.strptime((setuptime), '%Y-%m-%d %H:%M:%S')
        d_out = d_in.strftime('%H:%M:%S.000 +0700 %a %b %d %Y')
        line[13] = " TIME=" + d_out
        write.writerow(line)


if __name__ == '__main__':
    main()

[Morty Rick]

Сергей Паньков, спасибо за совет. буду изучать.

Answer 2

[Karpion]

У Вас на каждую строчку лога - запускается несколько программ/процессов. И выводной файл каждый раз открывается и закрывается. Неудивительно, что это извращение тормозит.

Надо как-то так:
Убираем cat. Всё делает awk.
Функцию "grep -o TIME=..." можно перенести в awk, у него есть хороший инструмент для этого.
Запуск "date" - тоже сделать в awk, распарсить дату ручками.

Ну или хотя бы уберите ">> LOG_new.csv" из цикла - это прекрасно делается снаружи, после "done"; в кр.случае - надо будет взять это дело в скобки.

Вы бы дали пример лога, было бы проще. Хорошо бы с пояснениями.

Comments

[Morty Rick]

Лог именно такого вида как дал выше, позиции аргументов не меняются, значния аргументов, кроме TIME,
не важны они должны остаться без изменений:

RESULT=xxxxx, TIME=2020-01-20 18:43:12, HOST=xxxxxxxxxxx, NAME=xxxxxxxx
RESULT=xxxxx, TIME=2020-01-20 18:43:20, HOST=xxxxxxxxxxx, NAME=xxxxxxxx
RESULT=xxxxx, TIME=2020-01-20 18:43:25, HOST=xxxxxxxxxxx, NAME=xxxxxxxx

на выходе должно быть

RESULT=xxxxx, TIME=18:43:12.000 +0700 Mon Jan 20 2020, HOST=xxxxxxxxxxx, NAME=xxxxxxxx
RESULT=xxxxx, TIME=18:43:20.000 +0700 Mon Jan 20 2020, HOST=xxxxxxxxxxx, NAME=xxxxxxxx
RESULT=xxxxx, TIME=18:43:25.000 +0700 Mon Jan 20 2020, HOST=xxxxxxxxxxx, NAME=xxxxxxxx

[Karpion]

Поменять местами дату и время, переставить в дате месяц и число, заменить минусы на пробелы, дописать нули и тайм-зону - всё это отлично делает sed.

Заменить месяц_в_виде_числа на месяц_в_виде_имени - может и sed, и любой язык программирования типа Perl, AWK.

Вот с днём недели сложнее. Впрочем, ниже уже предложили решение на Питоне, так что мне лень думать.