Как правильно распарсить блок на Python?

Question

[AlexRAV]

Почему Beautiful Soup неправильно парсит этот блок?
Вот упрощенный код, на нем баг тоже воспроизводится:

soupIndex = BeautifulSoup('''<div class="vk-comment">
                    <div class="vk-avatar">
                        <img src="img.png">
                    </div>
                    <div class="vk-comment-name">
                        Имя автора
                    </div>
                    <div class="vk-comment-text">
                        <p>
                            Текст коммента
                        </p>
                    </div>
                    <div class="vk-comment-date">
                        17 минут назад
                    </div>
                </div>''')
template = soupIndex.select_one('.vk-comment')
print(template)

В данной вариации при выводе появляются два лишних div-а... Если длину комментария увеличить в несколько раз, тогда начинает копироваться блок vk-comment-date. Я так понимаю Чем длиннее в символьном представлении этот блок, тем большее количество символов дублируется с конца.

UPD: в качестве парсера по умолчанию стоит html5lib, ОС - Windows 7. Пробовал html parser, там вообще какая-то ахинея творится, тэгу img, например добавляется закрывающий тэг.

Answer 1

[AlexRAV]

Проблема была в неправильном отображении в консоли, записал данные в файл, там нормально отображаются.

Answer 2

[Vadim kyklaed]

вам нужны данные из всех div ?

for i in soupIndex.find_all('div'):
    print(i['class'])

Comments

[AlexRAV]

Vadim kyklaed нет, мне нужно видоизменить этот блок. То есть на основе этого блока сгенерировать список. В любом случае не могу понять что не так с этим блоком, что парсеры перестают работать нормально

[Vadim kyklaed]

AlexRAV: список из чего надо сгенеририровать ? из всех тегов итд и всего что в них ?

[AlexRAV]

Vadim kyklaed да, то есть на выходе должен получиться список из элементов с такой же структурой как в примере, только со своим текстом внутри тэгов.

Answer 3

[Dimonchik]

предобрабатывай

ты же, наверно, это из АПИ какого-то получаешь, проверяй, что за данные приходят

P.s. рекомендую lxml