alternativshik

lxml однозначно.

Попробуйте посмотреть сорц xneur

Используйте фейсбуковский торнадо на питоне, + какой-нить редис для создания очередей или хранения кей-велью данных и быстрого доступа к ним, остальное — по желанию.