Евгений

как вариант - объем оперативной памяти, пайчарм очень прожорлив.
ну и поделитесь конфигурацией компьютера на котором у вас это происходит.

imap, izip?

А я бы предложил собрать из сорсов, иначе мало-ли что оно за собой потащит из старых версий других пакетов.

Могу сказать что будет в случае с xen, но тут думаю одинаково - при изменении проц/память возможно потребуется перезагрузка чтобы изменения вступили в силу.

По поводу диска - в случае если у вас диск размечен под один раздел, то автоматика у хостера при перезагрузке может автоматически изменить его размер под все доступное пространство, как в сторону увеличения так и в сторону уменьшения. Но этот момент надо уточнить у конкретного хостера.

Можно на фантоме сделать "прокси" и к нему обращаться по http из питона - чтобы получать уже собранные страницы

питон не умеет паралеллится по ядрам.
надо запускать кол-во процессов равное кол-ву ядер и гонять между ними данные для обработки.

Посмотрите в сторону zeromq,
один мастер который распределяет таски по воркерам (равные кол-ву ядер)
только не смешивайте zmq + gevent 1.0 - оно начинает глючить.