Не парсит дальше 3й страницы как исправить ???

Question

[KolenBG]

def get_page_count(html):
    soup = BeautifulSoup(html, 'lxml')
    pagination = soup.find_all('li', class_='pagination__button')
    if pagination:
        return int(pagination[-1].get_text())
    else:
        return 1


def get_content(html):
    soup = BeautifulSoup(html, 'lxml')
    items = soup.select('div.offer.js-assortment-unit-show')

    tabl = []
    for item in items:
        price_sail = item.find_all('div', class_='offer__price-block')[1]
        if price_sail:
            price_sail = item.find_all_next('div', class_='offer__price-current')
        else:
            price_sail = item.find('div', class_='offer__price-unavailable').get_text(strip=True)

        price_full = item.find_all('div', {'class': 'offer__price-block'})[0]
        if price_full:
            price_full = item.find('div', class_='offer__price-current').get_text(strip=True)
        elif price_full:
            price_full = item.find('div', class_='offer__price-unavailable').get_text(strip=True)
        else:
            price_full = item.find('div', class_='offer__historycal-date').get_text(strip=True)

        print(price_sail) # проверка ЦЕНЫ

        tabl.append({
            'title': item.find('div', class_='offer__title link__text').get_text(strip=True),
            'content': item.find(class_='offer__description').get_text(strip=True),
            'price_full': price_full,
            'price_sale': price_sail,
        })

    return tabl

price_sail = item.find_all('div', class_='offer__price-block')[1]
IndexError: list index out of range

Вот такое сообщение выдает при переходе на 3ю страницу убираю индекс именно в этой строке ошибки нет но тогда парсинг лупит по первому классу, как быть или может где я ошибаюсь

Comments

[Модератор]

См.п.3.6

[shurshur]

Надо посмотреть (с помощью print хот бы), что возвращает item.find_all('div', class_='offer__price-block'). Возможно, там, например, всего 1 элемент или даже ни одного.

[KolenBG]

shurshur,

Загрузка страницы 5 из 9...
[<div class="offer__controls">
<div class="offer__prices">
<div class="offer__price-block">
<div class="offer__price-block-header">
                                            Сегодня:
                                    </div>
<div class="offer__price">
<div class="offer__price-current">
                            189<small>.00</small><i class="rub"></i>
</div>
<!--noindex--><!--googleoff: index--> <div class="offer__price-old">
                                252<small>.00</small><i class="rub"></i>
</div>
<div class="offer__price-discount">
                                -25%
                            </div>
<!--googleon: index--><!--/noindex--> </div>
<div class="offer__price-block-dose">
<div class="offer__price-block-dose__price">18.9 ₽/доза</div>
<div class="offer__price-block-dose__icon-wrapper">
<a class="js-dose-tooltip offer__price-block-help-icon offer__price-block-dose__help-icon" data-placement="bottom" data-title="Цена за одну дозу (приём) препарата&lt;br&gt;&lt;a class='text--color-white' href='/posts/дозировка'&gt;Подробнее о дозах&lt;/a&gt;" href="#">
</a>
</div>
</div> </div>
<div class="offer__price-block" data-help-icon="price-for-waiting-touch">
<div class="offer__price-block-header offer__price-block-header--with-help-icon">
                                            Ожидание 5-7 дней <a class="offer__price-block-help-icon" data-help-icon="price-for-

выводит весь текст

[KolenBG]

shurshur, я не уверен но могу весь код прицепить а не только 2 функции

[shurshur]

KolenBG, хорошо, можно так:

print (len(item.find_all('div', class_='offer__price-block')))

чтобы всю простыню не писал...

[KolenBG]

<div class="offer__prices">
                        <div class="offer__historycal-date">
                Был в продаже 02.05.22 по цене:
            </div>
            <div class="offer__price-current">
                114<small>.00</small><i class="rub"></i>
                            </div>
            </div>

я так подозреваю здесь нужна какая-то проверка так как Питон спотыкается на данном моменте есть только один class="offer__price-current"

for item in items:
        price_full = item.find_all('div', class_='offer__price-block')
        if price_full:
            price_full = item.find('div', class_='offer__price-current').get_text(strip=True)
        elif price_full:
            price_full = item.find('div', class_='offer__price-unavailable').get_text(strip=True)
        else:
            price_full = item.find('div', class_='offer__historycal-date').get_text(strip=True)
            ################################################
        price_sale = item.find_all('div', class_='offer__price-block')[1]
        print(len(item.find_all('div', class_='offer__price-block')))
        if price_sale:
            price_sale = item.find('div', class_='offer__price-current').get_text(strip=True)
        else:
            price_sale = item.find('div', class_='offer__price-unavailable')

spoiler

Загрузка страницы 2 из 9...
2
2
2
2
2
Traceback (most recent call last):

price_sale = item.find_all('div', class_='offer__price-block')[1]
IndexError: list index out of range

[shurshur]

KolenBG, всё верно, так и отлаживают парсеры. Никогда не знаешь, что вылезет. Например, может выскочить "этот товар отсутствует в продаже" и никакой цены.

[KolenBG]

вопрос закрыт применил try: exept:
и весе перебором поставил )

Answer 1

[Алан Гибизов]

Не парсит дальше 3й страницы ???

Да, не парсит дальше 3й страницы.