Как несколько раз отправить в Request один и тот же адрес несколько раз в Scrapy?

Question

[JRazor]

Добрый день!

При отправке формы столкнулся с проблемой - не отправляется повторно один и тот же адрес. По всей видимости в Scrapy по умолчанию отключена повторная отправка одинаковых ссылок. Какая настройка дает мне такую возможность?

UPD. Если использовать так:

def parse(self):
    for data in years[1:8]:
        return Request(link, formdata={'year': str(data)}, callback=self.parse_year

def parse_year(self, response):
    print 'Hello!'

то Hello будет написано один раз вместо 7. Как сделать так, чтобы функция parse_year (это функция для примера) всегда принимала link?

Comments

[Roman K]

шта?

[JRazor]

Roman Kitaev: Написал выше, "шта" я имел ввиду

Answer 1

[Tark]

И снова Roman Kitaev прав :D

return Request(link, formdata={'year': str(data)}, callback=self.parse_year

Эта строка моментально вернёт результат. Сразу же. А вот если её заменить на

def parse(self):
    result = []
    for data in years[1:8]:
        result.append(Request(link, formdata={'year': str(data)}, callback=self.parse_year))
    return result

то она вернёт список из результатов запроса. Это то, что нужно?

Comments

[JRazor]

Я практикую написание скрипта Scrapy в одном файле. Да, эта строка вернет результат сразу. Но мне нужен сразу следующий результат. То есть ответ по следующему году и так далее. Однако я получаю только первый, потому что Скрапи по всей видимости думает, что я ошибочно запрашиваю одинаковые ссылки и по умолчанию блокирует их. Как отключить блокирование или как мне отправить реквесты с разными formdata?

[Tark]

Вы пробовали использовать приведённый пример?

Конструкция return завершает выполнение функции и возвращает результат вне зависимости от того, где эта конструкция была вызвана. Вы вызываете её в цикле - цикл сразу же прекращается, функция parse возвращает результат запроса.

Я написал пример функции, которая вернёт список с результатами семи вызовов. Не подходит?

[JRazor]

Tark: Разумеется он не будет работать. Там будет что-то типа Request ответа, скорее всего обычный Get. Мой пример рабочий, но дело именно в настройке Скрапи. Неужели никто не использует Скрапи через один файл?

[JRazor]

Tark: на всякий случай проверил. Да, как я и говорил, будет список из

[Tark]

Список из... Request?

В примере должно выполниться семь вызовов к link с помощью GET-запроса (по умолнчанию), и семь раз будет вызываться parse_year. Можно обратиться к response.body или response.url, чтобы посмотреть, что данные для вызова изменялись, что year каждый раз разный.

Давайте так. "Как несколько раз отправить в Request один и тот же адрес несколько раз в Scrapy" - не использовать в цикле return. Какая разница, в однм файле или не в одном всё это работает?

[JRazor]

Вот, смотрите. i.imgur.com/YTu0rhU.png

[Tark]

Двадцать раз был сделан запрос по одному и тому же адресу. И?

В функции parse_item вы можете что-то сделать с полученной страницей (это response, обьект класса).
Пожалуй, не стоило совать Request в список, я был неправ. Просто уберите return из вашего цикла, пусть будет что-то типа

def parse(self):
    for data in years[1:8]:
        Request(link, formdata={'year': str(data)}, callback=self.parse_item)

def parse_item(self, response):
    # здесь идёт работа с response. 
    print "%s has been parsed and we got: %s" % (response.url, response.body)

[JRazor]

Tark: Запрос был сделан 20 раз - верно, но ответ не был получен в этом примере. Насчет вашего самого последнего примера - и вот мы вернулись к тому, с чего начали: запрос 20 раз, а ответ один раз. Проблема в том, что Scrapy не дает отправить повторно один и тот же адрес. Убирает дубликаты. Я не просто так это пишу - я уже около 50 парсеров на нем написал, но такой проблемы не возникало. К примеру, рузультат лога:

2015-07-04 21:42:52+0600 [] DEBUG: Crawled (200) <GET http://www.huskyliners.com/> (referer: None)
2015-07-04 21:42:53+0600 [] DEBUG: Crawled (200) <GET http://www.huskyliners.com/> (referer: http://www.huskyliners.com/)
2015-07-04 21:42:53+0600 [] INFO: Closing spider (finished)

[JRazor]

Tark: Я хотел сказать "попыток запроса 20 раз", а ответ один. По факту - это один запрос, второй уже не отсылается, ибо нельзя

[Tark]

У меня Python 3.4.3, требуется MS VC++ 2010 для установки scrapy. Сейчас поставлю и проверю...

[JRazor]

Tark: Пожалуйста - https://www.dropbox.com/s/n57wowrac450afb/Dublicat...

[Tark]

Ох. Установил тучу всякой фигни, а потом узнал, что для работы scrapy нужен именно Python 2.7.
Зато прочитал документацию и узнал, что...

dont_filter (boolean) – indicates that this request should not be filtered by the scheduler. This is used when you want to perform an identical request multiple times, to ignore the duplicates filter. Use it with care, or you will get into crawling loops. Default to False.

Так что попробуйте в Request добавить dont_filter=True

[JRazor]

Tark: Я еще подумал, неужели перекатили Scrapy в третью версию. Оказалось, что нет :) Вот, только что нашел сам ошибку (про dont_filter я знаю, он стоял уже в оригинальной версии). Вспомнил, что при использовании FormRequest используется yield вместо return. Но все равно огромное спасибо!