Как сделать, чтобы картинка не обрезалась при отправке через asyncio?

Question

[datareset]

Пытаюсь отправить картинку через asyncio stream,
но приходит она мягко говоря обрезанной
Какие лимиты бы не ставил в reader'е все равно приходит только кусок

recieved = await reader.read(2048)
if recieved.startswith(b"screen"):
                screenshot = recieved.split(b' ')[1]
                with open("image.png", "wb") as f:
                    f.write(screenshot)
                screenshot = InputFile("image.png")
                await bot.send_photo(id, photo=screenshot)

Если выставить лимиты больше, то программа начинает жутко тормозить

Comments

[Модератор]

Покажите минимальный воспроизводимый пример кода.

[Вадим]

печалька ))

где код вообще

[Алан Гибизов]

Я бы рекомендовал конкретизировать название вопроса - что-то вроде «как сделать, чтобы картинка не обрезалась при отправке через asyncio?»

[Алан Гибизов]

datareset, обратите внимание - правильно подготовленный вопрос дает существенно более конструктивный и полезный результат.

Answer 1

[Vindicar]

recieved = await reader.read(2048)
Ты читаешь 2КБ. И всё.
Проблема в том, что размер пакета при передаче по сети ограничен. Хоть гигабайт отправь, приходить будет порциями. И вообще, отправитель (или промежуточное сетевое оборудование) может данные хоть по байту нарезать, ты это не контролируешь.
Поэтому обязательно надо предусматривать какой-то способ определить конце передачи, и повторять чтение в цикле, поке конец не достигнут. Основных способов два.
1. Передавать сначала размер данных в байтах (фиксированным размером - например, как 4байтовое целое), потом сами данные. Читаешь размер, разбираешь его в целое число, читаешь данные, пока не накопится желаемое число байт.
2. После переданных данных передавать условную последовательность "конец передачи". Тогда читаешь данные, пока эта последовательность не встретится.
У тебя данные бинарные, первый способ сработает лучше.

Comments

[datareset]

получается мне нужно получить размер и его указать в ридер?

[datareset]

я думал над этим, но почему-то посчитал, что будет неверно

[Vindicar]

datareset, ну да. Только надо подумать, как передать размер.
Если преобразовать число в строку, результат может иметь разное число знаков.

[datareset]

Vindicar, почему?

[Vindicar]

datareset, ну подумай сам. Картинка на 9500 байт и на 10500 байт.

[datareset]

Vindicar, ну ?

[datareset]

Vindicar, сделал, и оно ну оооочень тормозит

[datareset]

сделал просто read и экзепшен

screenshot = await reader.read(int.from_bytes(image_size, "big"))
with open("image.png", "wb") as f:
                    f.write(screenshot)
                screenshot = InputFile("image.png")
                await bot.send_photo(id, photo=screenshot)

aiogram.utils.exceptions.BadRequest: Image_process_failed

[datareset]

datareset,
я сделал вывод и всё равно всё срезано

[Vindicar]

datareset, покажи код отправки данных. Кроме того, целые бывают разного размера - 1, 2, 4, 8 байт, а Питон ещё умеет длинные целые с произвольной длиной. Тебе нужно явно выделить фрагмент нужного размера.

# при отправке
await writer.write(b'screen ')
# отправляем длину как 4байтовое беззнаковое целое с порядком бит BigEndian
# можно выбрать эти параметры иными, лишь бы отправитель и получатель делали одинаково.
await writer.write(len(image_data).to_bytes(4, 'big', signed=False))
await writer.write(image_data)
#при приёме
received = await reader.read(2048)
MAGIC = b'screen '
if received.startswith(MAGIC):
    received = received[len(MAGIC):] # отрезаем сигнатуру
    length_bytes, received = received[:4], received[4:] # вынимаем из буфера байты длины
    # декодируем длину как 4байтовое беззнаковое целое с порядком бит BigEndian
    image_length = int.from_bytes(length_bytes, 'big', signed=False)
    # дочитываем остаток изображения! Вот этого я от тебя так и не увидел.
    while (len(received) < image_length):
        received += await reader.read(2048)
    # на случай если после изображения будут ещё данные
    screenshot, received = received[:image_length], received[image_length:] 
    # в screenshot должно лежать полное изображение

[datareset]

Vindicar,

writer.write(bytes("size ", encoding="utf-8")+size.to_bytes(len(str(size)), 'big'))
await writer.drain()
buf.seek(0)
writer.write(bytes("screen ", encoding="utf-8")+buf.read())
buf.seek(0)
await writer.drain()

[datareset]

Vindicar,

screenshot = await reader.readexactly(int.from_bytes(image_size, "big"))

Из документации "читает в точности n байтов. если конец будет достигнут до того, как прочитано n байтов выбросит исключение"

[datareset]

Vindicar, сделал как вы сказали, оно не дочитывает до размера картинки, меньше остается

[datareset]

Vindicar,

if recieved.startswith(b"screen"):
screenshot = await reader.read(2048)
       while len(screenshot) < image_size:
               screenshot+= await reader.read(2048)

[datareset]

Vindicar, починил, спасибо большое