@ronny

Не полный ответ в python requests?

Хочу спарсить данные по этой ссылке https://www.mywot.com/scorecard/vk.com

Вариант с CURL работает отлично - возвращается полностью вся страница как в браузере

curl -X GET -k -i -v 'https://www.mywot.com/scorecard/vk.com'


Полноту страницы можно проверить по содержанию в ней, например, строки __WOT__

Но вот при запросе через питон, страница возвращается неполная, хотя при этом с закрытым /body.

requests.get('https://www.mywot.com/scorecard/vk.com')


Да, я знаю про заголовки и юзер-агент. Но обратите внимание, что в курле стандартные заголовки. И все ок. А с питоном даже с подменой юзер-агента, все так же странная неполная страница.

Может кто-то сталкивался с этим?
  • Вопрос задан
  • 199 просмотров
Решения вопроса 1
SoreMix
@SoreMix Куратор тега Python
yellow
>>> '__WOT__' in requests.get('https://www.mywot.com/scorecard/vk.com').text
True

?

requests вернул HTML длиной 454779, длина с CURL - 454749
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы