Попробуйте посмотреть, какие заголовки приходят и в какой кодировке результат, сделав запрос:
1) к nginx-у прямо с сервера, где стоит nginx;
2) напрямую к бэкэнду с сервера, где стоит nginx.
Как-то так:
curl -sS --include --location --output result.html 'http://domain.com/'
Тогда вы сможете определить, кто виноват: бэкэнд, nginx или кто-то третий (прокси между nginx-ом и вашим браузером).