Как определить кодировку страницы или текста на python?

Question

[r10d10]

Запрос:
requests.get("https://site.ru", headers)

к двум разным сайтам выдал разные ответы. В одном случае кириллический текст был нормальный, в другом выглядел так:

СкÑ\x83пка

Сделал string.encode('utf-8') но это не помогло и текст стал выглядеть так:

\xc3\x90\xc2\xa1\xc3\x90\xc2\xba\xc3\x91\\x83\

Формально и там и там на сайтах стоит мета-тег UTF-8 но на одном он видимо не соответствует реальной кодировке.

Тогда я посмотрел

print(string.headers)

и не увидел ничего необычного, кодировка никакая не передаётся в заголовках

{'Server': 'nginx', 'Date': 'Wed, 11 Jun 2025 11:41:21 GMT', 'Content-Type': 'text/html', 'Transfer-Encoding': 'chunked', 'Connection': 'keep-alive', 'Vary': 'Accept-Encoding', 'Cache-Control': 'max-age=604800, public', 'Content-Encoding': 'gzip'}

Вопроса 2:
1. Какой метод определения истинной колировки веб-страницы лучше использовать
2. Можно ли перекодировать полученный текст в читаемый или всё же его изначально надо забирать правильно а с этим ничего не сделать

Comments

[Adamos]

let me google it for you: "картинка определение кодировки"

[Vitalya Ivanov]

Adamos,

вот она

Интересно, а как определить в итоге? Вывести полученный ответ в консоль, например, и посмотреть глазами?

[Adamos]

Vitalya Ivanov, зависит от задачи. Если нужен универсальный определятор - глазами, только глазами программиста. То есть вписать в UTF-8 текст вот эти варианты - и посмотреть на них в HEX-редакторе. Получим набор шаблонов типа "если в потоке вот эти байты - то текст надо перевести из UTF-8 в CP1252, а потом из CP1251 в UTF-8, тогда будет кириллица".

[theurs]

https://ftfy.readthedocs.io/en/latest/

[Vitalya Ivanov]

Adamos, понял, спасибо, буду иметь ввиду

Answer 1

[Иван Глебов]

Похожий вопрос рассматривался здесь:
https://stackoverflow.com/questions/436220/how-to-...

Может помочь модуль chardet.

Пример работы модуля из документации:

>>> import urllib.request
>>> rawdata = urllib.request.urlopen('http://yahoo.co.jp/').read()
>>> import chardet
>>> chardet.detect(rawdata)
{'encoding': 'EUC-JP', 'confidence': 0.99}

Answer 2

[r10d10]

Расскажу что мне помогло.
1. Сохраняем результат в байтовом и текстовом виде в разных переменных
2. Проверяем полученный текстовый вид на любые русские буквы так a|o|е если ни одной из них нет, то у нас неправильная кодировка
3. Берём тогда вариант байтового представления из первого пункта и перекодируем bytes.decode('utf_8') кодировку надо подобрать заранее
Все кодировки доступные вот на этой странице в документации https://docs.python.org/3/library/codecs.html