Получить total_page при парсинге?

Question

[xxx]

def get_total_pages(html):
		soup = BeautifulSoup(html, 'lxml')
		pages = soup.find('div', class_='pagination-pages').find_all('a', class_='pagination-page')[-1].get('href')
		total_pages = pages.split('=')[1].split('&')[0]
		return int(total_pages)

В первом случае все понятно, мы можем просто найти последний из массива и сослаться на число в ссылке.

Но как быть, когда у нас нет кнопки последняя?

Answer 1

[Alexej Simakov]

в худшем случае подбором. Как в игре угадай число. Если вы загадываете число меньше чем номер конечной страницы - страница есть, если вы берете число больше чем конечная страница - такой страницы нет.

Comments

[nirvimel]

Это называется двоичный поиск.

[Alexej Simakov]

nirvimel: по сути схоже, но при поиске числа от 1 до n можно обойтись log_2(n) попытками. Не знаю действует ли эта формула в случае поиска верхней границы

Answer 2

[P.A.N.D.E.M.I.C.]

Вообще есть вариант как обойти заключи свой цикл в try except при не удаче просто ставишь break и все! и он перестает парсить то чего нету, это такой простой но рабочий вариант