У Apache есть служебная страничка с путём /server-status . Надо её включить и посмотреть, какие воркеры зависают на обработке какой ссылки. И далее от этого плясать.
1. В двух секциях server одинаковое server_name , а прокси настроен только во второй. Потенциально это источник проблемы.
2. Попробуйте выделить сервер-получатель в отдельный блок upstream и в proxy-pass прописать его.
Как вариант, периодически netstat-ом считать соединения; при превышении какого-то количества включать cdn, а при уменьшении показателя чуть ниже предела переводить отдачу обратно. А на dns тоже кэш, так что не вариант.