Как спарсить сайт олх, ошибка?

Question

[Александр Коваленко]

import requests
from bs4 import BeautifulSoup


def parse():
    URL = 'https://www.olx.pl/moda/buty/?view=list'
    HEADERS = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'
    }
    response = requests.get(URL, headers=HEADERS)
    soup = BeautifulSoup(response.content, 'html.parser')
    items = soup.findAll('div', class_='offer-wrapper')
    ads = []
    for item in items:
        ads.append({
            'title': item.find('a', class_='marginright5 link linkWithHash detailsLink').get_text(strip=True),
            'link': item.find('a', class_='marginright5 link linkWithHash detailsLink').get('href'),
        })
    print(ads)


parse()

'title': item.find('a', class_='marginright5 link linkWithHash detailsLink').get_text(strip=True),
AttributeError: 'NoneType' object has no attribute 'get_text'

Почему может быть такая ошибка?

Comments

[Yupiter7575]

Что не понятного? написано у ничего нет метода get_text. Почитай Документацию по bs4

Answer 1

[Сергей Карбивничий]

Начинайте парсить с 6-го объявления, так как первые 5 объявлений имеют другие классы:
for item in items[5:]:

Comments

[Александр Коваленко]

Помогло, спасибо, так и думал что проблема в рекламных постах не знал как их пропустить