Как перекодировать windows-1251 в utf-8 при парсинге?

Question

[plyk]

У сайта есть:

<meta http-equiv="Content-Type" content="text/html; charset=windows-1251">

При запуске кода:

response = requests.get('url', headers = {'UserAgent': UserAgent().Chrome})

print(response.text)

Ответ примерно такой:

<font face="Verdana"><font color="#FFFFCC" size="2">Óïðàæíåíèå XXVI/6: ãðóïïèðîâàíèå</font><br>

Если это сохранить при помощи:

with open('1.html', 'w', encoding='utf-8') as file:
    file.write(response.text)

То ничего не изменится.
Если просто, то надо сделать текст читаемым, чтоб при просмотре в bs4 и последующем сохранении в файлы можно было видеть текст в utf-8.
Как быть?

Comments

[galaxy]

покажите что ли сайт

[Drill]

А что показывает response.encoding ?
Похоже, что сайт отдает кириллицу в кодировке win-1252

[javedimka]

То есть сайт тебе говорит, что у него кодировка cp1251, но ты решаешь сохранять как utf-8. А ты хорош.

[galaxy]

javedimka, не пишите ерунды, если не знаете, как работает requests и строки в питоне

[javedimka]

galaxy, Я об том, что requests правильно распарсить ответ не сможет, так как смотрит на заголовки, а не в тело запроса.

[galaxy]

javedimka, если закрыть глаза на хамство, в этом твоем комментарии есть смысл, в отличии от первого

[javedimka]

galaxy, Прошу прощения, зря быканул.

[galaxy]

plyk, сайта мы от вас не дождемся, наверно. Скорее всего, кодировку в заголовках он не отдает, а мета-теги парсить, как верно заметил javedimka, не дело requests.
Попробуйте так:

response.encoding = 'cp1251'
print(response.text)

Answer 1

[plyk]

Оказалось что библиотека Requests кодирует данные в кодировку Latin-1(ISO-8859-1), сайт же отправляет данные с кодировкой windows-1251. Получалось что библиотека перекодировала данные сайта в другую кодировку.
Решил так:

sourse = requests.get('url')
sourse.encoding='windows-1251' # Теперь requests отдаёт данные в кодировке windows-1251 которая уже нормально читается

В принципе можно остаться на этой кодировке если при записи в файл указать encoding='utf-8'
Ну если прям сильно хочется перекодировать в utf-8, можно раскодировать текст в utf-8 а потом закодировать в него

# if text is windows-1251
text = '123 asdasd 55f'
text = encode('utf-8').decode('utf-8')

Comments

[galaxy]

Оказалось, ага.
Это документированное поведение, о чем вам писали тут в комментариях.

Ваш сайт не отдает кодировку в заголовках, поэтому ответу по умолчанию присваивается Latin-1. Если бы браузер не парсил HTML и теги meta, он сделал бы точно так же, т.к. этого требует стандарт HTTP.

Answer 2

[12rbah]

В чем проблема переконвертировать текст в utf-8? https://stackoverflow.com/questions/7555335/how-to...

Comments

[plyk]

Я уже нашёл решение, проблема была в библиотеке requests. Потом отвечу здесь, как проект доделаю.