Почему http запросы с прокси требуют так много оперативки?

Question

[sumi3sew]

Есть скрипт, который отправляет запросы на разные сайты, выглядит примерно вот так:

def get_proxy():
    proxy_list = [‘первая прокся´, ´вторая´]
    proxy = random.choice(proxy_list)
    return proxy


While True:
    proxy = get_proxy()
    r = requests.get(url, proxies=proxy)

    proxy = get_proxy()
    r = requests.get(url, proxies=proxy)

    proxy = get_proxy()
    r = requests.get(url, proxies=proxy)

То есть обычный цикл с отправкой запросов (есть несколько условий для завершения цикла, но это роли не играет)

И вот в чем проблема
Если в методе подбора прокси убрать все и написать

proxy = {}
return proxy

То скрипт юудет занимать стабильно 30-35 мб оперативки при запуске и после нескольких часов работы

Но если возвращать не пустое значение, а подбирать прокси из массива ( как в первом примере ) скрипт через час после запуска начинает занимать уже 500 и более мб оперативки, из-за чего это может быть? Как это исправить?

Comments

[Ivan Yakushenko]

есть несколько условий для завершения цикла, но это роли не играет

вероятнее всего как раз таки это и играет роль.

[sumi3sew]

Ivan Yakushenko, скрипт работает что с ними что без них одинаково( в плане к-ва занимаемой оперативки)

[sumi3sew]

Ivan Yakushenko, проблема остается, даже если вместо постоянного обращения к методу get_proxy в начале скрипта задать переменную proxy и делать все запросы с помощью нее

[devalone]

сделай пример, на котором воспроизводится ошибка, чтоб запустить у себя.

[Taus]

Возможно поможет https://github.com/psf/requests/issues/4601

Answer 1

[SagePtr]

Видимо, утечка памяти в библиотеке requests.
Оно: https://github.com/psf/requests/issues/4601 ?