Как решать возникшую проблему при парсинге сайта авито?

Question

[zhabaa]

Только начинаю вникать в парсинг, прочитал пару статей и посмотрел видео на ютабе. Написал небольшой код для получения htlm-кода страницы, но возвращается страница ошибки. Подскажите как это можно исправить..

from bs4 import BeautifulSoup
import requests


def get_data(url):

    headers = {
        'Accept': '*/*',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 OPR/100.0.0.0}'
    }

    req = requests.get(url, headers=headers)

    with open('project.html', 'w', encoding='utf-8') as file:
        file.write(req.text)


get_data('https://www.avito.ru/nedvizhimost')

Comments

[Dmitry Roo]

Может авито просто не хочет чтобы его парсили?..

Answer 1

[Akai_Void]

попробуйте поставить fake-user agent в headers , еще такие приколы от впн происходят всегда , с ним лучше не парсить