Не совсем понял, при чем здесь проксирование - статика в обоих случаях отдается нгинксом, различия только в том, что в одном случае (удачном) отдается графика и т.п. напрямую в отдельном локейшене, а в другом (неудачном) - отдается закешированные html-файлы в именованном локейшене.

После доп. проверок выяснилось, что заголовки не шлются для html-файлов, если его переименовать, например, в css - last-modified посылается

В итоге вот чем решилось - ssi off; Ведь c ssi on заголовки last-modified не посылаются, и ssi on активен для .html и т.п. файлов, а не для настоящей статики. В итоге - отключил, заработало.