Многие сайты банят за большое количество обращений.
- Есть ли какая-то статистика или общепринятые нормы кол-ва обращений в определенный промежуток времени?
- Какую дополнительную информацию собирать с сайтов чтобы быстро понять почему данные были недоступны для сбора в тот момент?
- Какую доп. информацию собирать чтоб в будущем уменьшить риск бана от сайта?
Есть понятие throttling. Оно вполне себе применимо и к вашему случаю =)
Начал проект медленнее отвечать - снизили нагрузку, стал отвечать нормально - маленькими шагами повышаем нагрузку. Начали пятисотить - снизили нагрузку в несколько раз сразу.
Но @L3n1n прав - моя хоумпага выдержит 10килорпс и не почешется, а бложек загнется на 300 рпс. Так что конкретные цифры для всех сайтов разные.
@inkvizitor68sl вы упомянули 300 рпс для бложечка и не упомянули реальную проблему - когда сайт, заподозрив негодяя, отдаёт не правильный контент, а мусор. вот это - проблема.
- У каждого проекта свои ограничения на к-во запросов.
- Странный вопрос, опишите подробнее.
- Какие данные вы собираете по-моему не играет никакой роли в парсинге.
Смотрите на пункт 1 моего ответа выше. Каждый проект по разному реагирует на ботов. Некоторые вообще не отвечают, некоторые банят по ип, некоторые предлагают ввести код с капчи.. Сохраняйте весь ответ сервера со всеми заголовками что бы отследить бан.
А вообще, парсинг пишется и настраивается под каждый сайт отдельно. Какого-либо шаблона вы не найдете.
использовать пул анонимных прокси, не пытаться выкачать весь сайт наскоком, маскироваться под поисковики, выставлять правильный реферер, отдавать полученные от сайта кукисы
Простой
