Как выбрать правильный log-format в GoAccess?

Question

[warkowsky]

На веб-сервере с Nginx есть несколько лог-файлов:

- основной (access.log), пример записи:
103.141.104.10 - - [16/Sep/2020:14:12:28 +0000] "GET /cgi-bin/blablabla2 HTTP/1.0" 404 146 "-" "-"|

Лог формат в конфиге Goaccess :
log-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u"

Лог читается, всё норм.

- дополнительный лог для сайта site.ru, пример записи:
188.239.222.111 - HIT [16/Sep/2020:20:28:16 +0000] site.ru "GET / HTTP/2.0" 200 12334 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36"

Помогите с подбором правильного лог-формата, что-то совсем запутался.

Comments

[warkowsky]

В общем разобрался. Кому интересно, всё оказалось просто:

1). Есть спец. скрипт, который конвертирует лог-формат из файла конфига Nginx в нужный для Goaccess:
https://github.com/stockrt/nginx2goaccess

2). В моей ситуации параметры такие:

'$remote_addr $upstream_response_time $upstream_cache_status [$time_local] '
  '$http_host "$request" $status $body_bytes_sent $request_time '
  '"$http_referer" "$http_user_agent"'

Получилось так:

time-format %T
date-format %d/%b/%Y
log_format %h %^ %^ [%d:%t %^] %v "%r" %s %b %T "%R" "%u"

Answer 1

[ky0]

А проблема-то в чём? Смотрите поля в конфиге нгинкса, потом воспроизводите в гоаксессе.

Comments

[warkowsky]

Проблема в том, что в конфиге сайта установлен такой же формат лога (если я правильно понимаю).

Вот формат лога в основном конфиге:

access_log /var/log/nginx/access.log;
	error_log /var/log/nginx/error.log;
	
	open_log_file_cache max=1000 inactive=30s valid=1m;
	
	log_format we_log '$remote_addr $upstream_response_time $upstream_cache_status [$time_local] '
	'$http_host "$request" $status $body_bytes_sent $request_time '
	'"$http_referer" "$http_user_agent"';

И он наследуется в конфиге сайта:

access_log /var/log/nginx/site.com.access.log we_log;
	 error_log /var/log/nginx/site.com.error.log;

И если access.log читается нормально, то при чтении site.com.access.log выдаёт ошибку:

Parsed 10 lines producing the following errors:

Token 'ET' doesn't match specifier '%s'
Token 'OST' doesn't match specifier '%s'
Token 'OST' doesn't match specifier '%s'
Token 'ET' doesn't match specifier '%s'
Token 'ET' doesn't match specifier '%s'
Token 'OST' doesn't match specifier '%s'
Token 'OST' doesn't match specifier '%s'
Token 'STP_DUPLEX_POST' doesn't match specifier '%s'
Token 'OST' doesn't match specifier '%s'
Token 'ET' doesn't match specifier '%s'

Format Errors - Verify your log/date/time format