Как обойти блокировку ip на авито,python requests?

Question

[i_vovani]

Во время парсинга авито,вылетает бан ip
Хотя headers прописывал

HEADERS = {
                    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36',
                    'accept': '*/*',
                    'referer':'https://www.avito.ru/rossiya',
                    'connection':'keep-alive',
                    'accept-language':'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7,lt;q=0.6'
                }

Пробовал прокси,но в django вылетает ошибка прокси,как можно пофиксить?

Answer 1

[Andrey_Dolg]

Почитайте что такое ip и как выдаётся бан по нему. А то судя по вашей фразе

Хотя headers прописывал

у вас нет даже минимального представления об этом.

Answer 2

[Дмитрий Энтелис]

Использовать рабочие прокси.

Answer 3

[Сергей Карбивничий]

Olx и avito палят бесплатные проки и vpn. Обойти с использованием бесплатных прокси не получится, так как там не капча показывается, а сообщение - что в вашей сети подозрительная активность. А что мешает парсить по 1 объявлению в 5-7 секунд(как нормальные люди), а не весь сайт за 10 минут?