При парсинге сайта, из-за большого количества запросов блокируется ip, как этого избежать?

Question

[Данила Румянцев]

Написал парсер для сайта авито, он работает на основе библиотек bs4 и requests, при слишком частых запросах блокируется айпи, пробовал делать запросы через прокси, не помогло, помогает немного только sleep(random.randint()), но иногда все равно блокирует, да и вдобавок 100 страниц парсятся из-за этого довольно долго

Answer 1

[rrambo]

Да никак не избежать. Либо прокси, либо увеличивать паузу между запросами.. можно же подождать. Закинуть на сервер и пусть работает себе

Comments

[Данила Румянцев]

Сколько лучше всего секунд делать паузу?

Answer 2

[Saboteur]

Ну все верно. Нечего парсить сайты. Если таких как вы будет 10? А если 100? А если 1000? Ради вас покупать новые десятки серверов? Проще просто заблочить парсеры и все.