LikeMySoul
@LikeMySoul
Сис. Админ

Как получить читаемые символы в python requests?

Доброго времени суток.
Недавно начал изучать парсинг в python и столкнулся с проблемой в виде нечитаемых символов.
Некоторые страницы нормально открываются, все читабельно и казалось бы все ок.
Но в последствии начал сталкиваться с тем, что вместо страницы просто кракозябры или знаки вопроса.
Попытался раскопать вопрос сам - ничего не вышло.
r.encoding показывает обычный utf-8
скрин выдачи

64846d829cfc0321447162.png

Пробовал сам вписывать r.encoding = 'utf-8', пробовал стандартные с винды cp1251 и cp866, результат идентичный(разве что кракозябры меняются)
код

page = requests.get(url, headers=headers, allow_redirects=True)
    page.encoding = 'utf-8'
    print(page.textt)


На всякий случай
хедеры

headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'Accept-Encoding': 'gzip, deflate, br',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
    'sec-ch-ua': '"Not.A/Brand";v="8", "Chromium";v="114", "Google Chrome";v="114"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"'
}


В какую сторону копать и как это исправить?
  • Вопрос задан
  • 163 просмотра
Решения вопроса 1
LikeMySoul
@LikeMySoul Автор вопроса
Сис. Админ
Вопрос решен. Проблема была в хедере, а если точнее в 'sec-ch-ua-platform': '"Windows"'.
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы