Какой посоветуете размер буфера для буферизованной записи в лог?

Question

[kkoshakk]

Сервер высоконагруженный, памяти 32 гига

og_format compression '$remote_addr - $remote_user [$time_local] '
'"$request" $status $bytes_sent '
'"$http_referer" "$http_user_agent" "$gzip_ratio"';

access_log /var/log/nginx-access.log compression gzip buffer=????

Answer 1

[Евгений Безымянников]

От скорости наполнения лога зависит. Если при максимальной нагрузке у Вас наваливает 100 килобайт логов в секунду, то выставьте 100-300.
Не стоит насиловать жесткий диск.

Comments

[kkoshakk]

тоесть, можно поставить 256k и не париться

[Евгений Безымянников]

kkoshakk: да, без проблем. В целом если хотите видеть логи более динамично во время разработки - ставьте меньше, на продакшене - побольше.

[kkoshakk]

Евгений Безымянников: А вообще на крупном проэкте с посещаемостью 100-200 k в сутки какой buffer оптимальнее? Максимум, что я видел, это 512 ставят, есть ли какой-то предел для буфера?

[Евгений Безымянников]

kkoshakk: предел задаёт логика. Если сброс буфера на диск раз в секунду, то норм. Если сделаете пару мегабайт, то стоит понимать что сброс буфера на диск нагрузит пиково его. Засеките насколько лог растёт в секунду и вставьте в конфиг двойной размер. Этого будет достаточно.

[kkoshakk]

Евгений Безымянников: Евгений Безымянников: ok. спасибо большое

[kkoshakk]

Евгений Безымянников: а еще такой вопросик, параметр flush чем нибудь может быть полезен, он как-нибудь влияет на улучшение производительности или стабильности?

[Евгений Безымянников]

kkoshakk:
"
При включённой буферизации данные записываются в файл:

если очередная строка лога не помещается в буфер;
если данные в буфере находятся дольше интервала времени, заданного параметром flush;
при переоткрытии лог-файла или завершении рабочего процесса.
"

Соответственно если стоит буфер пару мегабайт, а flush = паре секунд, то что быстрее наступит, то и вызовет сброс буфера лога.

[kkoshakk]

Евгений Безымянников: А какие посоветуете переменные в access_log добавить или наоборот удалить, какая инфа в конфиге может быть полезна?

[Евгений Безымянников]

kkoshakk: Оставьте дефолтным. Когда будете ставить какую нить систему мониторинга, то в документации к ней будет описание нужных полей. К примеру https://github.com/lebinh/ngxtop

[kkoshakk]

Евгений Безымянников: Я имел ввиду, мож. кроме стандартных переменных нужно еще какие-нибудь важные переменные добавить или наоборот из дефолтного убрать ненужные переменные. Например, я немного уже изменил log_format что бы видеть реальные ip пользователей, а не проксю:

log_format main '$remote_addr forwarded for $http_x_real_ip - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent '
'"$http_referer" "$http_user_agent"';

access_log /var/log/log/nginx/access.log main;

[Евгений Безымянников]

kkoshakk: nginx.org/ru/docs/http/ngx_http_log_module.html#lo... тут все переменные которые можно юзать