Проблема с парсингом сайта, кракозяблы и непонятные символы вместо HTML?

Question

[HE_TYPOY]

Нужно получить HTML код главной страницы для дальнейшего парсинга. При принте responce.text вылезают всякие кракозяблы, при responce.content вроде байты. Как я знаю там должен быть HTML код страницы. В чем проблема? Код:

from bs4 import BeautifulSoup as BS
import requests

cookies = {
    '_ga': 'GA1.1.1277669031.1717327519',
    '_ga_KNQZH7H2SM': 'GS1.1.1721982696.18.0.1721982696.0.0.0',
}

headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'Accept-Language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7,uk;q=0.6',
    'Cache-Control': 'max-age=0',
    'Connection': 'keep-alive',
    # 'Cookie': '_ga=GA1.1.1277669031.1717327519; _ga_KNQZH7H2SM=GS1.1.1721982696.18.0.1721982696.0.0.0',
    'Referer': 'https://www.google.com/',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'same-origin',
    'Sec-Fetch-User': '?1',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36',
    'sec-ch-ua': '"Not/A)Brand";v="8", "Chromium";v="126", "Google Chrome";v="126"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
}

response = requests.get('https://www.cherkasyoblenergo.com/', cookies=cookies, headers=headers)
soup = BS(response.text,"lxml")
print(response.text)

Спасибо за любую помощь.

Comments

[mayton2019]

При принте responce.text

Принт не считается легальным методом проверки кодировок. Твоя консоль может что-то не поддерживать.

Проверяй по другому.

[HE_TYPOY]

with open("index.html","w") as file:
    file.write(response.text)

Выдает ошибку: UnicodeEncodeError: 'charmap' codec can't encode character '\ufffd' in position 1: character maps to

[kamenyuga]

В питоне у функции open есть параметр encoding. По умолчанию он задается операционной системой. Поставь конкретное значение руками. В твоем случае скорее всего UTF-8.

[HE_TYPOY]

kamenyuga, Не работает(

Answer 1

[Vindicar]

Сайт утверждает, что отдаёт Content-Type: text/html;charset=utf-8.
Попробуй сохранить в файл и открыть тем же Notepad++.

Comments

[HE_TYPOY]

with open("index.html","w") as file:
    file.write(response.text)

Выдает ошибку: UnicodeEncodeError: 'charmap' codec can't encode character '\ufffd' in position 1: character maps to . В файл ничего не записалось.

[Vindicar]

HE_TYPOY, так записывай байты, а не текст. Используй response.content, и открывай файл в бинарном режиме "wb".

[HE_TYPOY]

response = requests.get('https://www.cherkasyoblenergo.com/', cookies=cookies, headers=headers)
soup = BS(response.text,"lxml")
with open("index.html","wb") as file:
    file.write(response.content)

Все равно не получаеться.

[Vindicar]

HE_TYPOY, эммм... ну-ка, начало файла покажи?

Просто сайт отдаёт ещё заголовок Content-Encoding: gzip, может, у тебя requests почему-то gzip не разжимает?

[HE_TYPOY]

Первые строки?

[Vindicar]

HE_TYPOY, да. А лучше глянь, первые два байта случаем не b'\x1f\x8b'?

[HE_TYPOY]

Vindicar, В файле байтов нет там каша из символов.

[Vindicar]

HE_TYPOY, блин, тебе на пальцах всё объяснять?
Во-первых, у тебя есть response.content. Ты прекрасно можешь сделать print(repr(response.content[0:2])) чтобы увидеть первые два байта.
Во-вторых, бинарные файлы можно и нужно открывать каким-нибудь редактором, который умеет шестнадцатеричный режим. Тогда будет видно, где какой байт

[HE_TYPOY]

Vindicar, b'\x1f\x8b' да они

[Vindicar]

HE_TYPOY, ну вот и ответ, сервер отдаёт контент, сжатый gzip, а у тебя почему-то requests не распаковывает, а отдаёт как есть сжатый. Не уверен, с чём это связано, но ты можешь попробовать добавить в запрос заголовок Accept-Encoding: identity, чтобы попросить сайт отдавать только несжатый контент. Если не сработает - в питоне есть модуль gzip, он позволяет вручную распаковать переданную строку байт.

[HE_TYPOY]

Спасибо, попробую.

[HE_TYPOY]

Спасибо, вроде помогло.