Не работает парсер в excel?

Question

[walkerstech]

Здравствуйте, необходимо записать данные из tr в таблицу excel. На скрине данные которые парсятся с html файла, но их надо записать в excel. Но не записывает, в чем проблема. Может кто-то сможет решить?
На выходе данные которые спарсенный с html страницы, должны записаться в excel таблицу.
Где в A1, B1 , C1, D1, E1 должны быть записанные "ID", "Nick_Name", "Фракция", "Текст", "Время".
А в остальном А2,А3... В2,В3 и т.д., должны будут записанный, пример данных на скрине:

from bs4 import BeautifulSoup
from openpyxl import load_workbook
import xlwt

# Initialize a workbook
book = xlwt.Workbook()

# Add a sheet to the workbook
sheet1 = book.add_sheet("Лог")

# The data
cols = ["ID", "Nick_Name", "Фракция", "Текст", "Время"]


	with open("bank.html", "r", encoding="utf-8") as f:
	    
	    contents = f.read()
	 
	    soup = BeautifulSoup(contents, 'lxml')
	 
	    tags = soup.find_all(['th', 'tr'])
	    
	    for tag in tags:

txt = tag.text.split()

# Loop over the rows and columns and fill in the values
for num in range(50):
      row = sheet1.row(num)
      for index, col in enumerate(cols):
          value = txt[index]
          row.write(index, value)

# Save the result
book.save("test.xls")

Comments

[Модератор]

Вопросы с просьбами помочь с отладкой («почему этот код не работает?») должны включать желаемое поведение, конкретную проблему или ошибку и минимальный код для её воспроизведения прямо в вопросе. Вопросы без явного описания проблемы бесполезны для остальных посетителей.

[walkerstech]

Модератор, исправил

[Сергей Горностаев]

Как минимум в скрипте бардак с отступами. В таком виде он даже запускаться не должен.

Answer 1

[o5a]

Из-за сбившихся отступов сложно сказать наверняка, но в таком состояни видно, что в txt записывается только одна последняя строка данных, т.к. txt = tag.text.split() каждый раз ее перезаписывает. Вместо этого думаю предполагалось записывать в txt вложенный массив строк.

txt = []
with open("bank.html", "r", encoding="utf-8") as f:
    contents = f.read()
    soup = BeautifulSoup(contents, 'lxml')
    tags = soup.find_all(['th', 'tr'])
    for tag in tags:
        txt.append(tag.text.split())

И затем в цикле записи соответственно проходить по этим строкам, т.е. изменить примерно так

for i, vals in enumerate(txt):
    row = sheet1.row(i)
    for index, col in enumerate(cols):
        value = vals[index]
        row.write(index, value)

Comments

[walkerstech]

from bs4 import BeautifulSoup
from openpyxl import load_workbook
import xlwt

# Initialize a workbook
book = xlwt.Workbook()

# Add a sheet to the workbook
sheet1 = book.add_sheet("Лог")

# The data
cols = ["ID", "Nick_Name", "Фракция", "Текст", "Время"]

txt = []
with open("bank.html", "r", encoding="utf-8") as f:
    contents = f.read()
    soup = BeautifulSoup(contents, 'lxml')
    tags = soup.find_all(['th', 'tr'])
    for tag in tags:
        txt.append(tag.text.split())

# Loop over the rows and columns and fill in the values
for i, vals in enumerate(txt):
    row = sheet1.row(i)
    for index, col in enumerate(cols):
        value = vals[index]
        row.write(index, value)

# Save the result
book.save("test.xls")

В таком виде не работает

[o5a]

walkerstech, значит txt не содержит достаточно данных на 5 полей, которые предполагаются. Выведи в print содержимое txt после его заполнения и увидишь проблему.
Просто for index, col in enumerate(cols): подразумевает, что в в каждом вложенном списке txt будет содержаться такое же (не меньшее) кол-во элементов, как в cols.
Можно эту строку заменить на for index, col in enumerate(vals):, чтобы итерация велась по реальным значениям текста, а не предполагаемым колонкам. Но все равно лучше вывести, чем заполняется txt. Т.к. использовалось text.split(), то тексто просто делится на слова, вряд ли это то, что нужно, учитывая данные в примере.

[walkerstech]

o5a,
Работает,Но не так, как я хочу.
"ID", "Nick_Name", "Фракция", "Текст", "Дата", "Время"
Мне надо в таком виде,а получается

[o5a]

walkerstech, так получается, потому что в txt не правильная структура. Судя по этим данным, туда попадает каждое отдельное поле, которое при этом разбивается на слова. Значит, надо по-другому парсить этот html, чтобы txt правильно заполнился. Приведи кусок этого html чтобы видеть структуру полей. Скорее всего там надо будет искать отдельно все tr, а в них уже th, примерно так

tags = soup.find_all('tr')
    for tag in tags:
        fields = [t.text for t in tag.find_all('th')]
        txt.append(fields)