Есть один популярный вебсайт, защищенный CloudFront, который иногда выпускает новости, которые нужно спарсить как можно быстрее. Время кеша две минуты на каждом node, получается что обычно получаешь кешированную версию. Есть какие нибудь эффективные варианты кроме как одновременно получать страницу с сотен разных прокси надеясь, что где-то получишь последнюю версию? Если нет, какой прокси лучше подойдет?
А ее поможет. CloudFront в большинстве случаев кэширует универсально, поэтому что с прокси, что без. Если настроить слишком часто можно ещё под блокировку WAF попасть, а там ML, он почти всегда догадывается что это одни и те же психи парсят
Обход кеша целиком и полностью зависит от настроек сайта, тут без экспериментов не разобраться.
Пробуйте перебирать заголовки, GET-параметры, Сookie.
Рекомендую почитать документацию самого CloudFront, особенно разделы про Query String Parameters, Cookies и Request Headers.
Сложный
Простой
