Парсинг пагинация?

Question

[Ivan_pmk]

Всем привет, извините за тупость
https://www.ursus.ru/catalogue/zashchita_ot_padeni...
Но не могу понять как на этом сайте перебрать страницы пагинации python

<div class="wrap-pg">
    <div class="pagination">
                        <a class="show-more" href="/catalogue/zashchita_ot_padeniy_s_vysoty/page-2/?isAjax=true">показать еще</a>
          
        <div class="pagination-wr">
                            <a href="/catalogue/zashchita_ot_padeniy_s_vysoty/" class="pagination-link selected">1</a>
            
                                                            <a href="/catalogue/zashchita_ot_padeniy_s_vysoty/page-2/" class="pagination-link">2</a>
                                                                                <a href="/catalogue/zashchita_ot_padeniy_s_vysoty/page-3/" class="pagination-link">3</a>
                                                                                <a href="/catalogue/zashchita_ot_padeniy_s_vysoty/page-4/" class="pagination-link">4</a>
                 
                <a href="/catalogue/zashchita_ot_padeniy_s_vysoty/page-2/" class="pagination-link">
                    <svg class="icon-arrow" width="12" height="12">
                        <use xlink:href="/src/img/svg-sprite.svg#icon-arrow-right"></use>
                    </svg>
                </a>       
                <span class="pagination-last">8</span>
        </div>
    </div>
</div><img src="https://habrastorage.org/webt/65/7b/85/657b8507c659f527052184.png" alt="image"/>

Нужно интегрировать в код который проходится по каталогу а потом по страницам пагинации и товарам.
Вот к этому коду нужно, написать переход ко каталогу и сбор ссылок пагинации и в дальнейшем по товарам идти

url = 'https://www.ursus.ru/catalogue/'

    response = requests.get(url=url, headers=headers, cookies=cookies, proxies=proxies)
    print(response.status_code)
    soup = BeautifulSoup(response.text, "lxml")
    ctalog = soup.find_all("a", class_="categories-item")
    for category in ctalog:
        categorys = 'https://www.ursus.ru' + category.get("href")
        print(categorys)

Спасибо огромно!!!

Comments

[Shandy]

Код в студию

[Ivan_pmk]

url = 'https://www.ursus.ru/catalogue/'

    response = requests.get(url=url, headers=headers, cookies=cookies, proxies=proxies)
    print(response.status_code)
    soup = BeautifulSoup(response.text, "lxml")
    ctalog = soup.find_all("a", class_="categories-item")
    for category in ctalog:
        categorys = 'https://www.ursus.ru' + category.get("href")
        print(categorys)

Вот к этому коду нужно, написать переход ко каталогу и сбор ссылок пагинации и в дальнейшем по товарам идти

Answer 1

[datka]

Узнаешь сколько страниц.
и тупо перебираешь урл с page-1, page-2, page-3 ... page-8 в вашем случае

import requests

base_url = "https://www.ursus.ru/catalogue/zashchita_ot_padeniy_s_vysoty/page-"

pages = 8

for i in range(1, pages + 1):
    print(f"Page: {i}")
    print(f"{base_url}{i}/")
    requests.get(f"{base_url}{i}.")

Comments

[Ivan_pmk]

url = 'https://www.ursus.ru/catalogue/'

    response = requests.get(url=url, headers=headers, cookies=cookies, proxies=proxies)
    print(response.status_code)
    soup = BeautifulSoup(response.text, "lxml")
    ctalog = soup.find_all("a", class_="categories-item")
    for category in ctalog:
        categorys = 'https://www.ursus.ru' + category.get("href")
        print(categorys)

Вот к этому коду нужно, написать переход ко каталогу и сбор ссылок пагинации и в дальнейшем по товарам идти