Scrapy — Python

Question

[Андрей]

При парсинге одного сайта на битрикс через некоторое время происходит возврат «400» ошибки от сервера. Кто-нибудь занимался им и может подсказать как более хитро маскироваться под пользователя?
Интервал между запросами поставил в 2 секунды, а результат всегда один и тот же — 200 элементов и 400 ошибка

Answer 1

[Анатолий]

Мне кажется это не от того что сервер палит что вы ходите, можете сделать рэндомный интервал от 2-х до 5-ти секунд чтоб проверить, может быть сервак просто глючит =)

Comments

[Андрей]

На счет глючит — не могу точно сказать, потому что проверял те ссылки, которые с 400 ошибкой — они работают и существуют. Интервал в пять секунд. Надо будет попробовать.

Answer 2

[bekbulatov]

Помимо DOWNLOAD_DELAY и USER_AGENT, что я полагаю вы уже меняли, попробуйте уменьшить эти настройки CONCURRENT_ITEMS, CONCURRENT_REQUESTS_PER_SPIDER, CONCURRENT_SPIDERS.

Comments

[Андрей]

USER_AGENT просто Yandex
А последние три параметра уменьшил вдвое. Все равно — 282 элемента и падает.

[bekbulatov]

282, а не 200? Уже лучше… Просто Yandex не надо, лучше валидный, но дело не в нем.
CONCURRENT_ITEMS — макс число элементов, обрабатываемых в Item Pipeline (мне кажется, этот параметр на параллельные запросы не влияет),
CONCURRENT_REQUESTS_PER_SPIDER — макс число параллельных запросов каждого паука (поставьте 1), CONCURRENT_SPIDERS — макс число пауков (поставьте 1)

[Андрей]

я округлил тогда на счет двухсот — 281-282 было и есть. Никакой разницы. Сейчас пробую с параметрами 1 и 1 в двух последних, но, думаю, что результат будет или такой же, или будет очень медленно.

[Андрей]

Итого не помогло. Еще варианты? :)

[bekbulatov]

Может это ограничение на сессию? Посмотрите, устанавливаются ли какие-либо куки, может их значения меняются с обходом сайта. Напишите мне сайт и что вы парсите в личку. Даже интересно как-то стало.

Answer 3

[kmike]

Может там ограничение стоит не на кол-во запросов в минуту или секунду, а на кол-во запросов в час, например.

Comments

[Андрей]

перезапуск скрипта решает — снова парсится некоторое количество ( те же 282 элемента ) и все. Scrapy ловит 400 ошибку на каждой странице.

Answer 4

[Андрей]

Проблема была в том, что битрикс, как всегда, впереди планеты всей — он хранил в куках историю посещений. И когда накапливалось около 200 элементов — отказывался работать как надо. Итог — выключенные куки и несколько часов времени на анализ всей сложившейся проблемы)

Comments

[bekbulatov]

С куками я был прав, но не думал, что все так серьезно. Спасибо за решение.