Доброго времени суток.
Недавно начал изучать парсинг в python и столкнулся с проблемой в виде нечитаемых символов.
Некоторые страницы нормально открываются, все читабельно и казалось бы все ок.
Но в последствии начал сталкиваться с тем, что вместо страницы просто кракозябры или знаки вопроса.
Попытался раскопать вопрос сам - ничего не вышло.
r.encoding показывает обычный utf-8
Пробовал сам вписывать r.encoding = 'utf-8', пробовал стандартные с винды cp1251 и cp866, результат идентичный(разве что кракозябры меняются)
код
page = requests.get(url, headers=headers, allow_redirects=True)
page.encoding = 'utf-8'
print(page.textt)
На всякий случай
хедеры
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
'Accept-Encoding': 'gzip, deflate, br',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
'sec-ch-ua': '"Not.A/Brand";v="8", "Chromium";v="114", "Google Chrome";v="114"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"'
}
В какую сторону копать и как это исправить?