Почему не останавливается цикл while во время скрэйпинга?

Question

[wolverine777]

Привет, мне нужно вытащить всех авторов со всех страниц с учебного сайта http://quotes.toscrape.com/

Я хочу это сделать при помощи while- с учетом того что я не знаю конечное число страниц.

Вот этот код выводит мне желаемое но почему-то не выходит из цикла, притом что страниц то всего 10 - продолжает скрэйпить несуществующее... В чем дело? Спасибо.

i = 1
while(True):
    try:
        url = "http://quotes.toscrape.com/page/{}/".format(i)
            
        result = requests.get(base_url.format(i))
        soup = bs4.BeautifulSoup(result.text,"lxml")

        #print page url
        for item in soup.select('.author'):
             print(item.text)
                    


        #increase page number
        i += 1
    except:
        break

Answer 1

[soremix]

Если элемент не был найден - исключение не выкидывается.

Так чтоsoup.select('.author') возвращает просто None, никакой ошибки в этом нет. Проверяйте содержимое soup.select('.author') на None.

authors = soup.select('.author')

if authors:
    for author in authors:
        print(author.text)
else:
    break

Answer 2

[Георгий Хромов]

Сама-то страница существует, а если soup не находит атрибута .author или что это - он не выдает ошибки.
Тебе нужно всегда проверять soup на отсутствие атрибутов.