Есть такой сайт:
https://www.b17.ru.
На нем публикуются посты о психологии, я хотел с него парсить заголовки и присылать мне сообщение на рабочий стол о новых постах. Делаю я это для практики на Python.
Но вот проблема, на главной странице отображаются не все новые посты, а только самые популярные, и чтоб добраться до других постов нужно нажать кнопку "Далее".
То есть, когда я захожу на главную страницу с помощью вот такого кода с BeautifulSoup
url = "https://www.b17.ru"
Site = rq.get(url)
Получаю только популярные статьи.
Можно ли сделать как-то так:
if еще можно нажать кнопку "далее":
нажать кнопку "далее"
else:
сохранить страницу
