Меры предосторожности при парсинге на Python?

Question

[Bjornie]

С недавнего времени изучаю Python и хочу выполнить первый проект для парсинга данных из закрытой области (по авторизации).

Посмотрел один урок (гист, но там же есть ссылка на видео на ютубе), по которому все достаточно понятно. Но автор не использует никаких модулей для авторизации, не отправляет заголовки, не использует прокси и т.д., поэтому возникают следующие вопросы:
- Если предстоит спарсить несколько тысяч страниц, какие меры безопасности нужно предпринимать, чтобы не быть забаненым?
- Вероятно. если поставить паузы между запросами можно не попасть в бан? (и как вообще "разведывается" обстановка, чтобы понять: здесь можно спокойно парсить, а здесь тебе покажут сложную каптчу после первых 3 запросов).
- Стоит ли парсить с десктопа (как делал автор)?
- Какой несложный http-клиент можете порекомендовать?
- Достаточно ли отправить заголовки похожие на те, что отправляет мой же браузер?

Данные для парсинга в целом несложные, названия, города да контакты, никакого JS, пагинация.

Answer 1

[el777]

Если парсить всерьез, то я рекомендую обратить внимание на scrapy - шикарный фреймворк на питоне для парсинга сайтов.
Задачу в заголовке можно будет решить без говнокода.
Итого: 1 страница красивого кода, за 57 секунд в 16 потоков загружает 345 страниц с веблансера и выдает 3420 проектов.

Comments

[Bjornie]

el777 т.е. скрапи по умолчанию парсит в несколько потоков?

[Дмитрий]

он вроде не поддерживает третий питон

[screen_sailor]

Дмитрий: Поддерживает уже. Scrapy runs on Python 2.7 and Python 3.3 or above (except on Windows where Python 3 is not supported yet) -- из документации.

Answer 2

[Оптимус Пьян]

Иногда проще наоборот настроить парсер в 10 потоков и спарсить всё за 30 минут пока админы не опомнились чем растягивать это хз на сколько ))

Answer 3

[Dimonchik]

хороший способ - запустить wget, если он выкачает весь сайт - он однопоточный, то защита там неособо
еще фишка - прикинуться Гуглботом, поверьте на слово - оочень немногие проверяют бота, особенно если с ВПС в США парсить
для ВК и прочих, где царствую спамеры - защита будет всегда, границы - ищите
заголовки - см https://pypi.python.org/pypi/fake-useragent/0.1.2

Comments

[Владислав]

Насчет прикинуться гугл ботом можно поподробнее?

[Dimonchik]

https://support.google.com/webmasters/answer/10619...

[АртемЪ]

Ну я бы не сказал что wget хороший способ - он вообще как то для парсинга мало применим.
Им разве что домашнюю страницу какого нибудь школьника выкачать - он же тупо по существующим ссылкам ходит.
Большинство сайтов которые нужно парсить как минимум интерактивные - отправляешь запрос - разбираешь ответ - и на основе разбора ответа формируешь новый запрос.
А сейчас еще и JS повально - не выполнил скрипт, не увидел ссылки, дальше первой страницы никуда не попадешь.

[Bjornie]

АртемЪ: нашел пару попапов, которые подгружают несколько строк через AJAX (этих данных нет в коде). Какую библиотеку можете посоветовать для парсера на питоне?

[АртемЪ]

Bjornie: Если искомые данные можно подгрузить без исполнения скриптов то grab.
Иначе - только управлять браузером, например через selenium. Но это долго и ресурсоемко.

[Владислав]

АртемЪ: да не так уж и долго

[qlkvg]

А если не нужны картинки, то и не сильно ресурсоемко)

Answer 4

[iSergios]

1) Бдить временные интервалы, использовать разные IP и учетные записи (если возможно).
2) Вероятно да. Однако никто Вам тут не ответит, все очень индивидуально. Разведка всегда проводится методом проб и ошибок.
3) Да пожалуйста. За парсинг у нас не сажают. В худшем случае забанят. Решать Вам.
4) В смысле?
5) Откуда ж нам знать-то?

Answer 5

[lcd1232]

Для теста данные библиотеки подходят, но если действительно хотите парсить большие сайты, то надо использовать scrapy.

- Если предстоит спарсить несколько тысяч страниц, какие меры безопасности нужно предпринимать, чтобы не быть забаненым?

Если нет авторизации, то можно использовать: user-agent rotation, proxy rotation, random delay.

- Вероятно. если поставить паузы между запросами можно не попасть в бан? (и как вообще "разведывается" обстановка, чтобы понять: здесь можно спокойно парсить, а здесь тебе покажут сложную каптчу после первых 3 запросов).

Просто пишешь парсер без пауз, если все парсится, то защиты нет. По моему опыту могу сказать, что очень мало сайтов имеют защиту от множества запросов, в основном крупные проекты.

- Стоит ли парсить с десктопа (как делал автор)?

Конечно.

- Достаточно ли отправить заголовки похожие на те, что отправляет мой же браузер?

Тут надо смотреть на защиту, в основном хватает user-agent'а.