Как принудительно закрыть соединение без ожидания полного ответа запроса?

Question

[t38c3j]

Есть программа на python для скачивания только части файла из ответа запроса, aiohttp автоматически закрывает соединение после выхода из контекста без ожидания получения полного ответа от сервера, то есть, если файл весит 1GB a мы прочитали например только 50MB по необходимости, то оставшееся мы не будем гонять по сети (проверено мониторингом сети)

Код на python

async with c.get(...) as resp:
    if resp.status != 200:
        raise Exception(...)
    if int.from_bytes(await resp.content.read(4), 'little') != 288633362:
        raise Exception(...)
    if int.from_bytes(await resp.content.read(4), 'little') != 2:
        raise Exception(...)
    async with aiofiles.open(...) as f:
        block_length = int.from_bytes(await resp.content.read(4), 'little')
        await f.write(await resp.content.read(block_length))
        await f.write(b'\n')
        block_length = int.from_bytes(await resp.content.read(4), 'little')
        await f.write(await resp.content.read(block_length))

Пытаюсь повторить данное поведение в go с использованием net/http, но ответ все равно читается полностью и только потом закрывается соединение.

Код на go

func verifySignature(r io.Reader) error {
	var s uint32
	if err := binary.Read(r, binary.LittleEndian, &s); err != nil {
		return ...
	}
	if s != 288633362 {
		return ...
	}
	return nil
}

func validateBlockCount(r io.Reader) error {
	var c uint32
	if err := binary.Read(r, binary.LittleEndian, &c); err != nil {
		return ...
	}
	if c != 2 {
		return ...
	}
	return nil
}

func parseBlock(r io.Reader) ([]byte, error) {
	var l uint32
	if err := binary.Read(r, binary.LittleEndian, &l); err != nil {
		return nil, ...
	}
	d := make([]byte, l)
	if err := binary.Read(r, binary.LittleEndian, &d); err != nil {
		return nil, ...
	}
	return d, nil
}

func download(...) {
	req, err := http.NewRequest(...)
	if err != nil {
		return ...
	}
	resp, err := c.Do(req)
	if err != nil {
		return ...

	}
	defer resp.Body.Close()
	if resp.StatusCode != http.StatusOK {
		return ...
	}
	r := bufio.NewReader(resp.Body)
	if err := verifySignature(r); err != nil {
		return ...
	}
	if err := validateBlockCount(r); err != nil {
		return ...
	}
	..., err = parseBlock(r)
	if err != nil {
		return ...
	}
	..., err = parseBlock(r)
	if err != nil {
		return ...
    }
     ...
}

Как принудительно закрыть соединение без ожидания полного ответа запроса?

Comments

[igor6130]

У aiohttp для выбрасывания исключений при коде ответа, отличном от 200, есть соответствующая настройка:

async with aiohttp.ClientSession(raise_for_status=True) as session:
    ...

https://docs.aiohttp.org/en/stable/client_referenc...

[Александр Павлюк]

У вас все сделано правильно, defer resp.Body.Close() закроет соединение как только будет return из функции.

Нужно учитывать, что bufio вычитает чуть больше из соединения, но буфер там небольшой по-умолчанию. Если у вас дочитывается прямо до конца, надо проверять алгоритм парсинга данных, возможно он действительно все пытается вычитать.

[t38c3j]

igor6130, Нет, raise_for_status кидает исключение если статус ответа больше 400, вот код из исходников

def ok(self) -> bool:
        """Returns ``True`` if ``status`` is less than ``400``, ``False`` if not.

        This is **not** a check for ``200 OK`` but a check that the response
        status is under 400.
        """
        return 400 > self.status

[igor6130]

t38c3j, это да. А зачем вам кидать исключения, например, при перенаправлениях?

[t38c3j]

igor6130, aihttp автоматически следует перенаправлениям так как allow_redirects по умолчанию True, поэтому это проверка против статусов 202, 204, 206

Answer 1

[Insaf Burangulov]

Для этого отлично подойдут контексты (пакет context) в связке с функцией http.NewRequestWithContext, который принимает контекст одним из параметров. В момент, когда вы поймете, что запрос следует прервать - можно отменить контекст и соединение прервется. Например функция context.WithCancel создает контекст и возвращает кроме него еще функцию, вызвав которую контекст можно закрыть

Comments

[t38c3j]

Благодарю, это частично решило проблему в дополнении с уменьшённым буфером для чтения