Раз это одна папка и один домен, то не вижу никакой причины усложнять простейший конфиг:
server {
server_name media.*;
root /path/to/site.com/media;
}
P.S. CNAME на IP-адрес это креативно, но неправильно. Либо это должен быть CNAME на домен, либо A-запись.