Как исправить response 403?

Question

[kinzol]

Хотел сделать парсер авито с помощью requests но мне выходит response 403, а селениум слишком долго работает. Подскажите пожалуйста что нужно сделать чтобы не было response 403

import requests

headers = {
           'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
           'accept-encoding': 'gzip, deflate, br',
           'accept-language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
           'if-none-match': 'W/"5614dc-gQq3qAZTvLgAj3UqEWu3pjlKPdE"',
           'sec-ch-ua': '"Chromium";v="110", "Not A(Brand";v="24", "Google Chrome";v="110"',
           'sec-ch-ua-mobile': '?0',
           'sec-ch-ua-platform': 'Windows',
           'sec-fetch-dest': 'document',
           'sec-fetch-mode': 'navigate',
           'sec-fetch-site': 'none',
           'sec-fetch-user': '?1',
           'upgrade-insecure-requests': '1',
           'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36',
           }

response = requests.get("https://www.avito.ru/",headers=headers)

print(response)

Comments

[igor6130]

Авторизоваться?

https://developer.mozilla.org/ru/docs/Web/HTTP/Sta...

[shurshur]

Авито очень сложно парсить, они этому очень основательно сопротивляются, тем более что умников их парсить очень много. Даже если удастся повторить запрос из браузера, не факт, что через небольшое количество запросов они не заблочат / спросят капчу / включат какой-нить поведенческий анализ или фильтр / начнут отдавать левые данные.

PS: В нулевые один мой товарищ парсил выдачу поисковиков для своей научной работы по кластеризации данных. Через некоторое время яндекс его забанил, а рамблер начал на любой запрос выдавать ссылку на объявление "Куплю дрова".

Answer 1

[Алан Гибизов]

Авито не очень приветствует скрапинг через браузер. Пользуйтесь API.