Как обойти блокировку при парсинге?

Question

[uten92]

Имеется сайт auto.ru. При парсинге меня блокирует сайт.

С помощью urllib.request.Request передаю заголовок User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5

Причем, если через обычный браузер зайти на сайт нет блокировки (т.е. не по ip). Как выяснить, что блокирует?

Answer 1

[Владимир Куц]

Проверьте заголовок который отправляет броузер при запросе к сайту. Используйте такой же заголовок у себя в скрипте.
Используйте куки.

Comments

[uten92]

Попробовал использовать такой же заголовок. Первый раз нормально вывел, во второй раз блокировка пошла...

[Владимир Куц]

uten92, быстрее всего вам передали какое-то значение в куке, которое второй раз вы должны были передать. Так что используйте куки.

[uten92]

Владимир Куц, А с помощью чего это можно сделать, не подскажите?

[Владимир Куц]

uten92, теми же стандартными средствами python - тем же urllib2 к примеру.

Answer 2

[alex maslakoff]

используйте selenium