bekbulatov

С lxml можно так

from lxml import etree
tree = etree.parse('document.xml')
print tree.xpath("/document/name/text()")
print tree.xpath("/document/hobby/text()")

Туториал

Если page не является списком, то преобразовать к этому типу

outfile.write('%s\n' % list(page)[10])

Используйте
subprocess.call(cmd.split(),shell=True)

', '.join(map(str, a))

Помимо DOWNLOAD_DELAY и USER_AGENT, что я полагаю вы уже меняли, попробуйте уменьшить эти настройки CONCURRENT_ITEMS, CONCURRENT_REQUESTS_PER_SPIDER, CONCURRENT_SPIDERS.