@EgorkaOle

Как парсить сайты защищенные CloudFront?

Есть один популярный вебсайт, защищенный CloudFront, который иногда выпускает новости, которые нужно спарсить как можно быстрее. Время кеша две минуты на каждом node, получается что обычно получаешь кешированную версию. Есть какие нибудь эффективные варианты кроме как одновременно получать страницу с сотен разных прокси надеясь, что где-то получишь последнюю версию? Если нет, какой прокси лучше подойдет?
  • Вопрос задан
  • 325 просмотров
Пригласить эксперта
Ответы на вопрос 1
@alpeg
Обход кеша целиком и полностью зависит от настроек сайта, тут без экспериментов не разобраться.
Пробуйте перебирать заголовки, GET-параметры, Сookie.
Рекомендую почитать документацию самого CloudFront, особенно разделы про Query String Parameters, Cookies и Request Headers.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы