Как в Scrapy менять User-Agent вместе со сменой IP (proxy) и как обрабатываются ошибки?

Question

[Bjornie]

Пишу парсер Амазон используя Scrapy, хочу сделать смену юзер-агента вместе со сменой прокси, чтобы все выглядело максимально естественно. Пока не разобрался как это делается. Прошу, подскажите. Должен ли я оставлять закоментированной константу USER_AGENT в settings.py?

P.S. и ещё вопрос: как обычно обрабатываются запросы, по которым не получили ответа (т.е. если сайт не работает, или нас забанили или еще какая-то причина). Я читаю список ASIN из .txt, т.е. у меня заведомо известный список адресов. Что если парсер остановится где-то на середине: как это записать и обработать?

Answer 1

[Evgen]

У Амазона много специфики в парсинге.
Обычно я не меняю UA, исплоьзую только IP rotation. Однако, если хочется, можно использовать готовые middleware, например эту https://github.com/alecxe/scrapy-fake-useragent.
Если хотите вручную менять UA при создании Request, просто прописывайте UA в header.
По поводу плохих ответов, есть два варианта.
1) Амазон будет отдавать вам каптчу, можно её распозновать при помощи индусов, например anti-captcha.com или можно написать или использовать готовую OCR. (у меня есть примерно с 30% шансом распознования)
2) Амазон будет отдавать вам 503, когда ваш IP окончательно ему надоест.
По поводу сохранения прогресса с asin. Я брал список asin из MySQL и записывал данные обратно туда-же, меняя статус, если всё ок.

Comments

[Bjornie]

Evgen спасибо Evgen, что так детально ответили на мой вопрос. Я уже установил данную библиотеку, вроде работает как и ожидалось. Также поставил scrapy_proxies и вместе с ним установил RANDOM_UA_PER_PROXY = True, чтобы UA менялся при смене прокси.

1) На счет каптчи, вчера, при изучении документации Scrapy нашел сервис proxymesh, который цитируется в ней, зарегистрировался на триал, запустил парсер и сразу получил каптчу. Попробовал со своего ip - каптчи нет.
2) Подскажите, а где обрабатывать ответы, в middlewares или прямо в методе parse? И какая настройка CONCURRENT_REQUESTS и DOWNLOAD_DELAY будет наилучшей. Я попробовал как 3 так и 15 одновременных запросов, также разную задержку. Где-то рекомендуется ставить 5 секунд delay, тогда скорость парсинга снижается до 11 стр в минуту.
3) Решил что буду делать с MySQL, мне это кажется даже удобным для будущего использования полученных данных.