Почему bytesIO ломает xlsx файл созданный через pandas?

Question

[Tayrus0]

Есть такой код

df = pandas.DataFrame()
    bb = BytesIO()
    bb.name = f'test.xlsx'
    bb.encoding = "utf-8"

    to_add = {'1': one,
              '2': one,
              '3': one,
              '4': one,
              '5': one,
              '6': one,
              '7': one}
    df = df.append(to_add, ignore_index=True)
    df.to_excel(bb, index=False)

    bb.seek(0)

    await bot.send_document(message.chat.id, bb)

Он создает файл екселя (xlsx), все создается успешно, но когда я открываю файл пишет что он поврежден, как это исправить?

Comments

[o5a]

Может стоит посмотреть файл в простом текстовом просмотрщике, что там вообще содержится, может он пустой совсем. Еще, xlsx по факту запакованные zip, можно попробовать залезть внутрь посмотреть содержимое, что именно не так получается. Для теста запустил подобное в боте (не асинхронном), файл нормально передается без ошибок. В качестве one передавал строки, не знаю, что у Вас там.

[Viktor T2]

Так пробовали?
bot.send_document(message.chat.id, bb.getbuffer())

[Tayrus0]

o5a, Попробовал передать строки, так же говорил что битый файл

[Tayrus0]

Viktor T2, не помогло

[Viktor T2]

Почему у вас
bb.name = f'test.xlsx'
а не
bb.name = 'test.xlsx'
?

[o5a]

Tayrus0, так а что собой представляет сам сформированный файл? Обычный xlsx как я говорил представляет собой zip файл, при открытии текстовым редактором/просмотрщиком в начале идут символы "PK".

[d'Ivan]

Tayrus0,
Если нужно проверить что внутри ZIP, то есть программа zipdetails на Перле, которая выдает техническую информацию по структуре ZIP файла. Вызывать вот так:
zipdetails test.xlsx

[d'Ivan]

У меня получился размер файла 4967 байта.

[Tayrus0]

Viktor T2, опечатка

Answer 1

[d'Ivan]

Попробуйте с ключами аргументов

await bot.send_document(chat_id=message.chat.id, document=bb)

Вот так пишет корректный XLSX файл:

код

import pandas
from io import BytesIO

one = 'ttt'
to_add = {'1': one,
          '2': one,
          '3': one,
          '4': one,
          '5': one,
          '6': one,
          '7': one}

bb = BytesIO()
bb.name = f'test.xlsx'
bb.encoding = "utf-8"

df = pandas.DataFrame()
df = df.append(to_add, ignore_index=True)
print(df)

df.to_excel(bb, index=False)

with open(bb.name, 'wb') as f:
    f.write(bb.getbuffer())

Доп. инфа:
https://python-telegram-bot.readthedocs.io/en/stab...
https://gist.github.com/ohld/9c9cbcfa09020be62a635...

Comments

[Tayrus0]

[Tayrus0]

Tayrus0, Все равно повреждается

[d'Ivan]

Tayrus0,
Откройте этот XLSX при помощи архиватора в качестве ZIP. Если он откроется без ошибок, то, наверное, с XLSX все в порядке, а Excel какой-то привередливый (какая версия?) и может какая-то дополнительная служебная информация в нем отсутствует.
По крайней мере, у меня LibreOffice открыл тестовый файл без проблем.

[Tayrus0]

Роман Мирр, открывается через zip, у меня 2016 года

[d'Ivan]

Tayrus0, тогда, возможно, df.to_excel пишет не совсем в том формате, что Excel ожидает увидеть.

[Tayrus0]

Роман Мирр, Как исправить тогда?

[d'Ivan]

Tayrus0, какая версия openpyxl установлена? Последняя - 3.0.5.

[d'Ivan]

Как вариант - сохранять вместо в CSV.

[Tayrus0]

Роман Мирр, openpyxl==3.0.5
pandas==1.1.4

[Viktor T2]

Tayrus0,
может энжин ему поменять?
df.to_excel(bb, index=False, engine='xlsxwriter') #Write engine to use, ‘openpyxl’ or ‘xlsxwriter’.

[Tayrus0]

Viktor T2, Не помогло

[Tayrus0]

Tayrus0, Если записывать файл без byteio, то он записывается без ошибок

[d'Ivan]

Tayrus0,
Хотел прояснить: то есть
f.write(bb.getbuffer()) с моего примера (размер файла 4967 байта) не открывается в Excel 2016? Или у вас другие данные внутри?

Если записывать файл без byteio, то он записывается без ошибок

Каким образом записывается файл? Это до отправки ботом или после?

[Viktor T2]

Tayrus0, Вместо BytesIO можно попробовать MemoryTempfile,
https://pypi.org/project/memory-tempfile/
А вообще, если сохранить файл на диск и отправить файл с диска,
такая же проблема?

[Tayrus0]

Viktor T2, если сохранить файл на диск и отправить все работает

[Tayrus0]

Роман Мирр, я записываю его с df.to_excel("file.xlsx", index=False)
потом считываю его rb и отправляю и все работает, но с bytesio нет

[d'Ivan]

Tayrus0, вместо df.to_excel(bb, index=False) попробуйте

writer = pd.ExcelWriter(bb, engine='xlsxwriter')
df.to_excel(writer, index=False)
writer.save()