bekbulatov

Замедлить можно этими настройками

CONCURRENT_REQUESTS — макс число одновременных запросов
CONCURRENT_REQUESTS_PER_DOMAIN — макс число одновременных запросов на домен
DOWNLOAD_DELAY — задержка между запросами
Раньше тут еще был CONCURRENT_SPIDERS — макс число пауков. Видимо, убрали.

По умолчанию scrapy склеивает куки, о чем говорит параметр dont_merge_cookies

Единственное условие — надо использовать встроенный Request

Разработчики рекомендуют передавать request в виде аргумента. Здесь же про минусы использования threadlocals

Использование индекса в mysql зависит также от порядка следования столбцов в индексе. То есть `posted`+`sticky`+`fliped`+`deleted` использоваться не будет, а `deleted`+`sticky`+`fliped`+`posted` может и будет (Как MySQL оптимизирует ORDER BY)

Следует иметь в виду, что первый вариант не подойдет, если необходимо хранить много картинок. Поиск в папке будет занимать внушительное время, поэтому лучше разбивать на подпапки и хранить относительный путь в БД

С lxml можно так

from lxml import etree
tree = etree.parse('document.xml')
print tree.xpath("/document/name/text()")
print tree.xpath("/document/hobby/text()")

Туториал

Не совсем понятна ваша задача, но могу посоветовать книгу «Программируем коллективный разум» Тоби Сегарана. В книге рассматриваются подобные алгоритмы на питоне. Думаю найдете что-то полезное для себя.

VirtualBox: Доступ к локальному серверу на хост-машине из гостевой OS. Как настроить?

Если page не является списком, то преобразовать к этому типу

outfile.write('%s\n' % list(page)[10])

Попробуйте это
location / {
if (!-e $request_filename) {
rewrite ^/(.*)$ /index.php?/$1 last;
break;
}
}


Используйте
subprocess.call(cmd.split(),shell=True)

robots.txt?

', '.join(map(str, a))

Помимо DOWNLOAD_DELAY и USER_AGENT, что я полагаю вы уже меняли, попробуйте уменьшить эти настройки CONCURRENT_ITEMS, CONCURRENT_REQUESTS_PER_SPIDER, CONCURRENT_SPIDERS.

Обязательно django приложение? Если нет, возьмите disqus.com

Как-то покупал темы на themeforest.net/