Как парсить кирилицу с помощью BeautifulSoup в Python3?

Question

[vlzemtsov]

Добрый день.
Хочу парсить одну страницу в интернете, в которой есть таблица, заполненная кирилицей.
Примерно такой код:

<table class="table name">
    <tr>
        <th>Заголовок</th>
    </tr>
    <tr>
        <td>Тест0101</td>
        <td>Тест0102</td>
    </tr>
        <tr>
        <td>Тест0201</td>
        <td>Тест0202</td>
    </tr>
    <tr>
        <th>Заголовок 2</th>
    </tr>
    <tr>
        <td>Тест0301</td>
        <td>Тест0302</td>
    </tr>
</table>

Получается примерно такая таблица (Да, границ нет, но я думаю вы меня поняли):


Хочу считывать эту таблицу и с зависимости от значений, делать что-то:

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

html = getHtml(url)   #У меня написана функция, которая достает html-код и мне влом ее дублировать
soup = BeautifulSoup(html, "html.parser")

table = soup.find("table", {"class": "table name"})

for row in table01.find_all('tr'):
        cols = row.find_all('td')
        
        if cols != []:       #Исключаем заголовки у них нет td
            typeName = "Тест0101"
            if cols[0].text == typeName:
                print("kek")

Однако на выходе я "kek" не получаю никак. Кодировка сайта - utf-8.
Пробовал всякие .encode('utf-8') - не помогает

Comments

[vlzemtsov]

Pavel Denisov, Это я с самого начала сделал. На консоль выдает то что нужно в кирилице

[vlzemtsov]

Вот так получается:
Тест0101 Тест0101 False

[vlzemtsov]

Pavel Denisov,
В общем - переустановил python3 - заработало. Видимо что-то сбилось.

Сделал это после того, как запустил с помощью Python2.7 и все отработало хорошо.

СПАСИБО!

Answer 1

[Dimonchik]

кириллица отлично парсится в utf8, если сервер отдает не в ней - нужно перекодировать в нее

Comments

[vlzemtsov]

Ок поменял строчку :
if cols[0].text == typeName:

на

if cols[0].text.encode('utf-8') == typeName.encode('utf-8'):

Ничего не поменялось

[vlzemtsov]

Pavel Denisov, ответил уже, что сначала я вывод сделал и там все норм - кириллицей

[Dimonchik]

chardet поможет упорству