Как спарсить данные если нет нормальной пагинации?

Question

[s1zen]

Сам сайт: https://series.naver.com/comic/recentList.series
Если выйти за пределы пагинации возращает на последнию страницу

До чего додумался:

page_iteration = False
    books_dict = []
    total_page = 0
    while page_iteration != True:
        total_page += 1
        async with aiohttp.ClientSession(headers=headers) as session:
            async with session.get(f"https://series.naver.com/comic/recentList.series?page={total_page}") as response:
                html = await response.text()
        
        soup = BeautifulSoup(html, "lxml")
        books_block = soup.find_all("ul", "lst_thum")
        for block in books_block:
            books = block.find_all("li")
            for book in books:
                book_url = "https://series.naver.com" + book.find("a", "NPI=a:content").get("href")
                books_dict.append({"book_url": book_url})
        with open("result.json", "a", encoding="utf-8") as file:
            json.dump(books_dict, file, indent=4, ensure_ascii=False)

Answer 1

[alexbprofit]

Это набросок, можно изменить под себя:

import requests
url = "https://series.naver.com/comic/recentList.series?page="
pagination_last_index = 1
while True:
  r1 = requests.get(url + str(pagination_last_index))
  r2 = requests.get(url + str(pagination_last_index + 1))

  if r1.text == r2.text:
    print(pagination_last_index)
    break

  pagination_last_index += 1

Comments

[Roman K]

это кек а не набросок. достаточно любого динамического элемента (даже скрытого) на странице, чтобы код не работал

[shurshur]

Roman Kitaev, да достаточно на первой странице появиться одному новому элементу - и все страницы поедут...

Answer 2

[Roman K]

Если последняя страница содержит полностью идентичные ссылки, что и предыдущая — предыдущая была последней

Comments

[s1zen]

Тоже думал об этом, но не знаю как реализовать

[Roman K]

s1zen, if prev_links == current_links: break

[shurshur]

Лучше сравнивать последнюю ссылку на странице с последней ссылкой предыдущей страницы. Если за время прокручивания пагинации в начале добавились новые элементы, то страницы поедут.