Парсинг на python, в чём ошибка?

Question

[Иван Корякин]

import requests
user_id = 12345
url = 'https://yandex.ru/'
r = requests.get(url)
with open('test.html', 'w') as output_file:
    output_file.write(r.text.encode('cp1251'))

<Ошибка>
Traceback (most recent call last):
File "C:\Users\Ivan\Desktop\python\parser.py", line 6, in
output_file.write(r.text.encode('cp1251'))
File "C:\Python39\lib\encodings\cp1251.py", line 12, in encode
return codecs.charmap_encode(input,errors,encoding_table)
UnicodeEncodeError: 'charmap' codec can't encode character '\u2212' in position 88884: character maps to
Ошибка>

Answer 1

[Сергей Горностаев]

Корень проблемы в том, что вы пытаетесь перекодировать в cp1251 текст, в котором есть символы, не представленные в этом кодировке. Кроме того, даже если бы у вас получилась перекодировка, метод encode вернул бы байты, а вы файл открыли в текстовом режиме, возникла бы другая ошибка. Вероятно, вам стоит написать так:

with open('test.html', 'w', encode='utf-8') as output_file:
    output_file.write(r.text)

P.S. Спасибо Сергей Паньков за то, что указал на мою невнимательность.

Comments

[Иван Корякин]

Как исправить?

[Сергей Горностаев]

Иван Корякин, либо открыть файл в бинарном режиме
with open('test.html', 'wb') as output_file:
либо открыть в нужной кодировке и писать обычный текст

with open('test.html', 'w', encoding='cp1251') as output_file:
    output_file.write(r.text)

Если, конечно, вы уверены, что данные приходят к вам именно в этой кодировке.

[Сергей П]

Но ошибка произошла раньше, когда автор вопроса попытался закодировать неподдерживаемый в cp1251 символ никода. Следовало бы использовать utf-8

[Сергей Горностаев]

Сергей Паньков, тоже верно, поэтому и сделал приписку в конце комментария.

[Сергей П]

Сергей Горностаев, при всём уважении, ваша приписка только собьёт с толку.
По-большому счету нет разницы в какой кодировке приходят данные. Атрибут text - это уже декодированное тело http-ответа. Важно только смогут ли быть преобразованы все имеющиеся символы в целевую кодировку. В данном сучае очевидно, что не смогут, поскольку главная страница яндекса в utf-8 и мы уже выяснили из трейсбэка, что там есть непредставимые в 1251 символы.

[Сергей Горностаев]

Сергей Паньков, да, вы правы.

[Сергей П]

Сергей Горностаев, поправьте, пожалуйста, ответ, если не сложно. А-то как-то неловко выйдет перед пользователями=)
То, что автор вопроса пишет в текстовый файл байты коненчо, проблема, но не первая в этом случае.

Answer 2

[Одиночка Айс]

1. Учитесь гуглить
2. Используйте utf-8