Вы даже не написали о каком сайте речь.
Банить могут не за частоту, а по совокупности факторов.
У такого бана всегда есть свои цели. К примеру, метрики показывают владельцам сайта, что существенную часть нагрузки создают вот такие автоматические запросы. Как именно владельцы сайта будут стараться отличить автоматические запросы от человеческих зависит от изобретательности разработчиков.
Ещё одной причиной, почему владельцы сайта могут стремиться блокировать автоматические запросы - это нежелание делиться данными, публикуемыми на сайте с конкурентами или нахлебниками.
Если бы я делал систему защиты от таких вот запросов на сайте, я бы не позволял парсерам вычислить границы и критерии. по которым определяю автоматические запросы.
Не давал бы возможности таким системам с помощью пула прокси подбирать методом проб и ошибок максимально эффективный способ грабить. Понятно, что если парсеры упорятся и будут делать каждый запрос через рандомный отдельный прокси, да еще и через какой-нибудь селениум, который тщательно имитирует действия пользователя вплоть до движения мышкой, то против такого лома очень трудно и нерентабельно искать приёмы.
Но такой изощренный подход долог, дорог и не эффективен. Возможно против тех единиц, у котороых достанет денег и упорства так грабить ваш сайт и не стоит бороться. Игра не будет стоить свеч.
В любом случае нужно стараться максимально затруднить вычисление причинно следственной связи между действиями бользователя\парсера и баном. Можно, к примеру, вести рейтинг клиентов и подключений, а когда этот рейтинг подозрительности достигнет некоторого порога, с некоторой вероятностью за рандомную единицу времени банить такого клиента. Если недобросовестному клиенту повезло и его не забанили сейчас, то забанят чуть позже, зато он не "расскажет" другим клиентам о критериях и не поможет им подстроиться под порог бана.
Вот весь этот длинный ответ как бы должен намекнуть вам, что нет простого ответа на ваш вопрос. Если сайт, который вы парсите, устроен просто и незатейливо, если банит он тупо по пороговой частоте запросов и IP, то допустимую частоту можно вычислить затратив на подбор несколько прокси, которых забанят, зато дальше можно смело масштабировать обращения, распределив их частоту между свежими нескомпрометированными прокси.
Если защита на сайте сложнее, то и бороться с нею будет сложнее.
Нет протого ответа на ваш вопрос, тем более такой наивно абстрактный.
Простой
