Спасибо за советы! Оказалось дело было совсем в другом, я напортачил с конфигами nginx. Одновременно с переездом на новый сервер проект полностью перешел на https протокол, а в конфигах кеш серверов осталась ссылка на
http://... версию сайта.
В итоге, когда запрос приходил на кеш сервер — кеш-сервер запрашивал файл с основного сервера по http — на основном сервере ему отдавался редирект на https — кеш-сервер отдавал этот редирект пользователю и все.
Сори за беспокойство, сейчас прописал:
proxy_pass https://my-site.com/media/; и все заработало как надо )