Как ненавязчиво и эффективно парсить сайты?

Question

[sandrain]

Многие сайты банят за большое количество обращений.
- Есть ли какая-то статистика или общепринятые нормы кол-ва обращений в определенный промежуток времени?
- Какую дополнительную информацию собирать с сайтов чтобы быстро понять почему данные были недоступны для сбора в тот момент?
- Какую доп. информацию собирать чтоб в будущем уменьшить риск бана от сайта?

Спасибо.

Answer 1

[Влад Животнев]

Есть понятие throttling. Оно вполне себе применимо и к вашему случаю =)
Начал проект медленнее отвечать - снизили нагрузку, стал отвечать нормально - маленькими шагами повышаем нагрузку. Начали пятисотить - снизили нагрузку в несколько раз сразу.

Но @L3n1n прав - моя хоумпага выдержит 10килорпс и не почешется, а бложек загнется на 300 рпс. Так что конкретные цифры для всех сайтов разные.

Comments

[Masterme]

@inkvizitor68sl то что бложечек свалился в 500 - как раз вычисляется проще всего, по заголовкам. Это вообще не проблема.

[Влад Животнев]

@Masterme а где я говорил, что это проблема) ?

[Masterme]

@inkvizitor68sl вы упомянули 300 рпс для бложечка и не упомянули реальную проблему - когда сайт, заподозрив негодяя, отдаёт не правильный контент, а мусор. вот это - проблема.

[sandrain]

@Masterme как бороться с таким мусором, не поделитесь опытом?

[Masterme]

@sandrain опытом - нет

Answer 2

[Алексей]

От 500mc до 1500mc на домен в 1 поток и будет все хорошо.

Answer 3

[Степан]

- У каждого проекта свои ограничения на к-во запросов.
- Странный вопрос, опишите подробнее.
- Какие данные вы собираете по-моему не играет никакой роли в парсинге.

Comments

[sandrain]

Говоря о данных, я имею ввиду статус коды страниц, время загрузки. Не о самих конечных данных, ради которых всё затевалось

[Степан]

Смотрите на пункт 1 моего ответа выше. Каждый проект по разному реагирует на ботов. Некоторые вообще не отвечают, некоторые банят по ип, некоторые предлагают ввести код с капчи.. Сохраняйте весь ответ сервера со всеми заголовками что бы отследить бан. А вообще, парсинг пишется и настраивается под каждый сайт отдельно. Какого-либо шаблона вы не найдете.

[Masterme]

@L3n1n лол. а как же поисковики сёрфят сеть?

[Степан]

@Masterme парсить инфу с сайтов и сохранять всю страницу как есть, по-моему все равно что сравнивать теплое с мягким ;)

[Masterme]

@L3n1n чтобы распарсить нужно сперва сохранить

Answer 4

[Masterme]

использовать пул анонимных прокси, не пытаться выкачать весь сайт наскоком, маскироваться под поисковики, выставлять правильный реферер, отдавать полученные от сайта кукисы