В той в которой удобней админу.
У меня для каждого server есть свои access/error.log, а в определенных случаях даже для конкретных location.
Кому-то удобней все наваливать в один файл для всех.
Так что вопрос не особо корректен.
kkoshakk: можно. Посмотрите в вывод nginx -V, узрите там --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log, вот все что не подпадет под описанное в server и более детальное все равно будет уходить в те файлы, которые указаны при конфигуре.