Scrapy — я сдаюсь!

Question

[ks_ks]

dumpz.org/160218/ и paste.in.ua/3882/ — результаты моего корпения над scrapy.

Есть три вопроса на эту тему:

как отослать этот запрос

opener = urllib2.build_opener()
opener.addheaders = [('cookie', cookie)]
opener.open('http://wordstat.yandex.ru/?cmd=words&page=1&text=&geo=&text_geo=&captcha_id=%s&captcha_val=', key)

— Яндексу… где key — известная нам штука, а cookie — неизвестная?

Как сделать дальнейшие путешествия нашего паука под этими же куками?

И третий — как его маленько замедлить?
А-то он сильно быстро бегает и долбит и без того замучанный Яндекс. :)

Comments

[ks_ks]

Проблема была со скоростью перемещения паука и с использованием XPath(не хочет как надо работать).
XPath меняю на регэкспы. Осталось разобраться, как подменить запрос. Кто знает и хочет поделиться примером — велкам!

Answer 1

[bekbulatov]

Замедлить можно этими настройками

CONCURRENT_REQUESTS — макс число одновременных запросов
CONCURRENT_REQUESTS_PER_DOMAIN — макс число одновременных запросов на домен
DOWNLOAD_DELAY — задержка между запросами
Раньше тут еще был CONCURRENT_SPIDERS — макс число пауков. Видимо, убрали.

По умолчанию scrapy склеивает куки, о чем говорит параметр dont_merge_cookies

Единственное условие — надо использовать встроенный Request

Comments

[ks_ks]

Можно пример кода, или ссылку на пример?
Задача — вытащить эти куки.

За ответ на последние 2 вопроса отдельное спасибо.)

[bekbulatov]

Не знаю, зачем они нужны в явном виде. Нашел пример передачи кук руками. Может поможет…

[ks_ks]

Видел. Не, он не помог — не понимаю логики работы.

Answer 2

[demark]

Немного оффтоп, но какие у вас объёмы запросов на вордстат? может имеет смысл воспользоваться api яндекс.директа — CreateNewWordstatReport? (на 1 акк — 1000 запросов/сутки)

Comments

[ks_ks]

Больше, конечно. На худой конец сам граб-о-парсер напишу. Интересно было именно Scrapy попробовать.

Answer 3

[lorien]

> И третий — как его маленько замедлить?

Мало работал со скрапи, но я думаю, банально можно sleep вызывать внутри функции-обработчитка.

Юзайте grab :)

Comments

[ks_ks]

Есть наработки для wordstat, которыми можете поделитсья?)

[lorien]

нет