Судя по схеме, надо создать один или более локейшенов, которые будут описывать ваши статические файлы, и в них сделать проксирование к File server. Возможно, с fallback на web server*.
Возможно, также надо настроить proxy_cache*, если балансировщик не только балансировщик будет, но и кеш. А, возможно, вам вообще не нужен отдельно file server, а хватит кеширования статики.
В общем виде, не зная тонкостей вашего проекта, дать конкретный ответ как вам правильно перестроить вашу инфраструктуру не реально, на самом деле.