Как снизить потребление памяти при работе python-скриптов?

Question

[Ivan2121]

Здравствуйте! Написал парсер на питоне, ежедневно работает 6-7 скриптов одновременно. В диспетчере задач в таком случае висит несколько pythonw.exe процессов, 3-4 из которых сразу же после запуска забирают по 1.5 гб оперативной памяти. Но при этом я заметил, что спустя несколько часов уже только 1 или 2 процесса потребляются по 1.5 гб, а остальные в 10 раз меньше. Как же сделать так, чтобы и при запуске и дальнейшей работе потребляемая память питонов была не большой?

Answer 1

[throughtheether]

Как же сделать так, чтобы и при запуске и дальнейшей работе потребляемая память питонов была не большой?

Не видя кода, трудно о чем-либо судить, но совет могу дать. При парсинге, когда вы извлекаете характеристики "единицы" данных (товар интернет-магазина или твит в твиттере), вместо того, чтобы затем предавать в другую функцию список, содержащий множество "единиц" данных, передавайте их по одной при помощи yield.

Answer 2

[Вадим Шандринов]

используйте не DOM парсер - он все кладет в память, а SAX парсер, например lxml.de