Очень просто.
1. В http {} создаете upstream
upstream images {
least_conn;
server server1;
server server2;
}
2. В server {} создаёте location
location ~ \.(png|jpg|gif)$ {
proxy_pass http://$images;
proxy_redirect http://$images/ /;
proxy_intercept_errors on;
}