В общем, решение такое:
1. Устанавливаем пакет nginx-extras.
2. В конфигурации location пишем:
set $logging 0;
log_by_lua '
if tonumber(ngx.var.upstream_response_time) >= 2 then
ngx.var.logging=1
end;
';
access_log /path/to/log format if=$logging
Всем спасибо за попытку помочь.