Почему в python не освобождается память?

Question

[Кевин Митник]

Всем привет.

На python 3 есть следующая функция (только ее часть, вторую часть особо смысла приводить нет дабы никого не путать):

def checkNewProjects(link, last_project, timeout, config, session):
	"""Function for check new projects and for restarting timer event"""
	time.sleep(timeout)#Wait pause before start parsing
	print("Checking projects")
	if last_project == "": #It is first launch of function. Need only find last project.
		request = session.get(link).text
		html = BeautifulSoup(request, "html.parser")
		last_project = html.select(".projects .proj")[0].select("h2 a")[0]["href"] #finding link of last project for save
		del request, html
		checkNewProjects(link, last_project, timeout, config, session)
		return

Данный кусок кода после выполнения съедает около 800кб оперативки (вычислялось неоднократными тестами), ниже данных строк выполняются примерно такие же операции и также через del пытаюсь очистить память, но это не особо помогает. Функция постоянно вызывает саму себя пока принудительно не завершить приложение. Хотелось бы узнать:
1. Как избежать потери таких объемов памяти за столь короткие промежутки времени ?
2. Очищает ли del память или просто обнуляет переменные ?
3. Выполнится ли когда-нибудь код, который идет после вызова функции (то есть return) ?
4. Что именно вызывает утечку памяти ?

Я полагаю, что рекурсивный вызов съедает оперативку и функция постоянно ждет пока завершится ее child и так до бесконечности, но не уверен в этом да и довольно большой объем памяти уходит, если учитывать то, что в функцию передаются переменные довольного малого объема.

PS: Пробовал еще через gc принудительно собирать мусор (gc.collect()), но это тоже не дало ожидаемых результатов

PSS: Python начал изучать буквально пару дней назад, прошу сильно не кидать камнями, если глупость где-то написал или сморозил.

Comments

[Кевин Митник]

Pavel Denisov: Не пытался, пока не додумался как без нее можно обойтись...

[Кевин Митник]

Pavel Denisov: Просто в цикле вызывать функцию эту же самую и это должно помочь ?

[Кевин Митник]

Pavel Denisov: Понял, спасибо, проверю сейчас и дам знать, что вышло

[longclaps]

Хасан Хафизов: return _вообще_ никогда не вызвается - он же оператор, ёлы-палы.
Но он, безусловно, иногда выполняется.
Но это, разумеется, не имеет значения )

[Кевин Митник]

Pavel Denisov: Переписал все под бесконечный вызов в цикле и все стало работать так, как нужно, первый вызов функции также забирает 800кб, но последующие вызовы вообще не едят память, если там не выполняются дополнительные махинации. Спасибо за помощь, помогли. Буду еще рад, если получу ответ на 2-й вопрос =)

[Кевин Митник]

Хасан Хафизов: Ну если 800кб каждые 10 секунд поедать, то за час набегает 280мб, что довольно неприятно для программы, которая должна отработать день.

[Кевин Митник]

Pavel Denisov: а если явно вызвать gc.collect() - это поможет ? И стоит ли вообще вызывать его принудительно ?

[Кевин Митник]

Pavel Denisov: Понял, большое спасибо.

Answer 1

[Кевин Митник]

После того, как переписал рекурсивный вызов функции на вызов этой же самой функции в бесконечном цикле - память перестала улетучиваться в таких объемах =)
Спасибо за помощь, Pavel Denisov

Answer 2

[Roman Mindlin]

Что, если попробовать вынести жрущий память код в отдельную функцию?

def memoryEater():
  """eats memory"""
    request = session.get(link).text
    html = BeautifulSoup(request, "html.parser")
    return html.select(".projects .proj")[0].select("h2 a")[0]["href"] #finding link of last project for save

def checkNewProjects(link, last_project, timeout, config, session):
  """Function for check new projects and for restarting timer event"""
  time.sleep(timeout)#Wait pause before start parsing
  print("Checking projects")
  if last_project == "": #It is first launch of function. Need only find last project.
    last_project = memoryEater()
    checkNewProjects(link, last_project, timeout, config, session)
    return

Comments

[Кевин Митник]

Спасибо, но решение уже нашел =)
Проще было мне переписать под бесконечный цикл, просто ниже в этой же функции довольно объемный код еще идет.