При парсинге сайта, из-за большого количества запросов блокируется ip, как этого избежать?

Написал парсер для сайта авито, он работает на основе библиотек bs4 и requests, при слишком частых запросах блокируется айпи, пробовал делать запросы через прокси, не помогло, помогает немного только sleep(random.randint()), но иногда все равно блокирует, да и вдобавок 100 страниц парсятся из-за этого довольно долго
  • Вопрос задан
  • 147 просмотров
Решения вопроса 1
@rrambo
Да никак не избежать. Либо прокси, либо увеличивать паузу между запросами.. можно же подождать. Закинуть на сервер и пусть работает себе
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
saboteur_kiev
@saboteur_kiev Куратор тега Python
software engineer
Ну все верно. Нечего парсить сайты. Если таких как вы будет 10? А если 100? А если 1000? Ради вас покупать новые десятки серверов? Проще просто заблочить парсеры и все.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы