@fvckdeadline

Как получить html страницы, защищенного от парсинга сайта?

При открытии исходного кода страницы: https://www.off---white.com/en/RU/section/new-arrivals в браузере отображается корректный html.
При отправке http get запроса с использованием user-agent, html блокируется и выводится непонятный скрипт на всех страницах сайта одинаковый, за исключением куки
Python:
headers= {"User-Agent":"Mozilla/5.0 (iPhone; CPU iPhone OS 12_3_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Mobile/15E148 Safari/604.1"}
url = 'https://www.off---white.com/en/RU/section/new-arrivals'
r = requests.get(url, headers=headers)
print(r.text)

Возможно защита связана с cdn cloudflare или variti. Как можно обойти защиту и получить доступ к html?
  • Вопрос задан
  • 818 просмотров
Пригласить эксперта
Ответы на вопрос 1
dimonchik2013
@dimonchik2013
...встаю, одеваюсь, завтракаю и еду домой...
Selenium юзай

там JS / metarefresh проверка, requests не справится
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы