Как нажать кнопку «Далее» на сайте, и сохранить страницу с изменениями?

Question

[Stepan Sidorov]

Есть такой сайт: https://www.b17.ru.
На нем публикуются посты о психологии, я хотел с него парсить заголовки и присылать мне сообщение на рабочий стол о новых постах. Делаю я это для практики на Python.
Но вот проблема, на главной странице отображаются не все новые посты, а только самые популярные, и чтоб добраться до других постов нужно нажать кнопку "Далее".
То есть, когда я захожу на главную страницу с помощью вот такого кода с BeautifulSoup

url = "https://www.b17.ru"
Site = rq.get(url)

Получаю только популярные статьи.
Можно ли сделать как-то так:

if еще можно нажать кнопку "далее":
нажать кнопку "далее"
else:
сохранить страницу

Answer 1

[alex1478]

Посмотрите через консоль отладки в браузере какой запрос уходит к сайту, после нажатия "Далее". Повторяйте его в своей программе.