Python requests post пагинация, как сделать переход на следующий страничку?

Question

[Павел]

Все добрый вечер
Делаю парсер и встала задача перехода по страницам сайта. При клике по номеру странице в пагинации страница перезагружается, но когда я делаю переход по ней через requests.post(url) то на выходе получаю 404.
В DevTools хрома выдает два запроса.

Первый

Пример моего кода

rom bs4 import BeautifulSoup
import requests

import config as conf

headers = {
    'user-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:72.0) Gecko/20100101 Firefox/72.0',
    "Accept-Language": "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7"
}

data = {
    'authenticity_token': '',
    'email': conf.LOGIN,
    'password': conf.PASS
}

session = requests.Session()
session.get('https://www.strava.com', headers=headers)

def get_token():
    response = session.post(conf.URL_AUTHORIZATION)
    soup = BeautifulSoup(response.text, "lxml")
    token = soup.find('input',{'name':'authenticity_token'}).get('value')
    return token

def authorization():
    print(get_token())
    data['authenticity_token'] = get_token()
    session.post(conf.URL_AUTHORIZATION, headers=headers, data=data)

def get_response():
    url = 'https://www.strava.com/segments/9926585/leaderboard?club_id=225082&filter=overall&page={}&per_page={}&partial=true'.format(2, 25)
    response = session.post(url, headers=headers)
    print(response)

# Точка входа
def main():
    authorization()
    get_response()

Answer 1

[galaxy]

Почему post, а не get?

Comments

[Павел]

get возвращает 404