HTTPSConnection.getresponse() ...reesponse.read() протекает память. Нет?

Question

[sergof]

Привет!
У меня возникла необходимость питоном опрашивать массированно удаленный сервер.
Оказалось что примерно к 5-6й тысяче запросов кончаеются 2ГБ оперативки.
После бессонного дня нашел точку в которой питон «потек»:

в 32й строке после срабатывания response.read() сразу улетает четверть мегабайта. И в дальнейшем никакие del-ы и gc.collect-ы не спасают. Скажите мне — что не так? Сервер дает в ответ XML всего в 2713 байт, но каждая тысяча запрососв отъедает 250 Mb. Происходит это независимо от остальных операция, parseString не влияет. Хотя я стартую опрос внутри воркера параллельно с другими запросами пачками по 20-100 штук, может ли от этого течь? Обертка для воркера самая что ни на есть стандартная — из официальных питоновских доков. Сервер отвечает, все нормально, все стабильно, но память течет именно после response.read() и всегда именно 250 Mb на 1000 запросов. Где лежит проблема? Прошу помощи.

Answer 1

[MikhailEdoshin]

Я бы проверил pdb этот код и на response.read вошел бы в функцию. Насколько я понимаю, это вызывается HTTPConnection.read из httplib, но там несколько вариантов — хорошо бы понять хотя бы в какую ветку идет код.

Comments

[sergof]

Я хочу попросить Вас немножко подробнее об «вошел бы в функцию». Я пока что всего лиш начинаю знакомство с Питоном и поэтому понимаю не все ))

Как это — «вошел бы в функцию»? Вы имеете ввиду трассировку? Каким инструментом это сподручнее сделать?

[MikhailEdoshin]

Так pdb же. Если у вас это модуль и есть командная строка, то

python -m pdb <ваш_модуль> <опции>

если из консоли, то

>>> import my_module
>>> e = my_module.eBayItem(..., ...)
>>> pdb.run("e.doHTTPSrequest()") # в кавычках

В самом pdb набираете help, там список команд. s = step, пошагово с заходом в каждую функцию, n = next, не входя в функцию.

[sergof]

очень очень спасибо!!! я про такое раньше не знал.

[MikhailEdoshin]

Поправка — в примере для консоли я забыл написать import pdb.

Answer 2

[Аркадий]

Вы объект Connection еще где-то используете? Если нет — делайте локальным. Тоже самое и с response. Вообще течь read() не может, там все примитивно — прямое чтение из сокета. Течет скорее всего после parseString.

Можено посмотреть как вы вызываете метод doHTTPSRequest? И что дальше происходит? В том числе и с объектом EBayItem

Comments

[sergof]

Если нет — делайте локальным. Но ведь он и так уже сам по себе лишь свойство… Вон там, в 19й строке он определяется как свойство класса eBayItem. Разве можно еще локальнее? Намекните если так, буду очень признателен, если можно сделать еще локальнее то тут может и будет решение.

Как использую его далее могу только на словах рассказать потому что код на работе.., но в-кратце оно так: сначала создаю лист из объектов, у них конструктор принимает пару стрингов — первый 20-30 байт а второй 10-20 килобайт, все уникальные. Потом как в примере из книжки распараллеливаю запросы с помощью Thread и QUEUE. И через воркер в очереди запускаю методы doHTTPSRequest() готовых объектов класса eBayItem из заранее собранного листа.
После запуска очереди (от 20 до 50 параллельных соединений) все потоки корректно соединяются с сервером и получают ответ. Ответы self.data (32я строка в листинге, около 2-3 килобайта каждый) отдаются парсеру и результат складывается в отдельный лист. Собственно как я понимаю каждый объект тяжелеет на размер self.data = parseString(self.response.read()) когда завершается его тред. В листинге выше в 34й строке я ставил также del self.response но это не срабатывает. По окончании очереди на всякий случай делаю collect(). Ноль успеха. Если self.response.read() закомментировать а в self.data поместить 3-килобайтный эрзатц-ответ то питон потребляет 17 мегабайт памяти на 1000 объектов. Освобождает память и на автомате и вручную одинаково корректно. Если прогнать 1000х1000 то так и останется 17 мегабайт.

Наверное так на словах я непонятно объясняю, можно я в понедельник покажу «настоящий» листинг?

[Аркадий]

Локально — это только в самом методе, без self. Ждем понедельника:)

Answer 3

[MikhailEdoshin]

А какой у вас питон и операционка, кстати?

Comments

[sergof]

Win 7 64 Pro + Python 2.7

[MikhailEdoshin]

Вот есть похожая относительно свежая бага, но она при отключенном gc появляется; вы его, как я понимаю, не отключаете. Не пробовали разные инструменты из gc (например, посчитать ссылки до запуска и после)?

[sergof]

до не догадался, а после del и gc.collect() показывает пустой гэбидж

Answer 4

[Alexander Kouznetsov]

Идиотское предположение и решение, которое тем не менее, сработало в проекте на c# (питон, честно скажу, не знаю и с ним никогда не работал). Тоже текла память тоннами при обработке веб-запроса, сборщик мусора не соображал чистить память при чтении текста прямо в обрабатывающую функцию.

Спасло примерно следующее:
tempVariable=request.ReadFunction();
parseFunction(tempVariable);
tempVariable=null;

Comments

[sergof]

это как раз и понятно. И оттого что понятно становится только печальнее ))
Я уже попробовал и через промежуточный обьект, и вызывал .read() в качестве аргумента для парсера (так кстати выходит более «питонически» судя по документации). Но все едино — как только .read(), так сразу безвозвратно 250Kb улетает. Автоматический сборщик не чистит этот момент совсем ни разу…
Я пробовал и по-хорошему del-ом, и по злому collect-ом (чистил всю кучу). Пробовал через промежуточный объект и сразу его удалял, через свойство самого объекта класса тоже с удалением этого свойства всеми способами, кроме того — объекты класса eBayItem используются в модуле параллельных соединений с сервером и если хлопать сами объекты в том модуле после закрытия соединения — все равно память утекает. Объекта уже нет давно, а памяти демоны не отдают обратно…
Для чистоты сделал дамми для .read(), просто функцию которая отдает трехкилобайтный темплейт (пробовал варианты с random-ными 50- и 500-килобайтными ), и все получилось как положено — гэбидж почистился без персонального приглашения.
Пока что думаю что либо httplib протекает внутри где-то в области HTTPSConnection, либо что-то я где-то не так понял…

[Alexander Kouznetsov]

еще одно довольно неадекватное предложение… а если запросу сказать request.KeepAlive=false?

[sergof]

спасибо, попробую