Как сделать, чтобы при парсинге bs4 как то надо нажать на кнопку «показать еще», чтобы подгрузило еще 20 постов?

Question

[alexbaw09]

Прошу не говорить что на этом сайте можно не парсить, так как я учусь пасингу в bs4
Сайт: https://new-science.ru/?s=%D0%B3%D0%BB%D0%BE%D0%B1...

код на github: https://github.com/AlexGame2012/habr.git

Answer 1

[Maксим Волков]

1. Использовать Selenium.
   
2. Возможен вариант (но не факт), посмотреть в инструментах разработчика браузера на наличие ссылок пагинации, по которым подгружается контент при нажатии на кнопку "показать ещё", определить последнюю ссылку - и пробежаться по ним в цикле - для получения ссылок на загружаемый контент.
   

Answer 2

[Михаил Р.]

Как сделать, чтобы при парсинге bs4 как то надо нажать на кнопку

Никак, bs4 как и requests лишь получают то, что отдал сервер при первом ответе. Вы можете попробовать исследовать то, какой запрос на сервер отправляется, при нажатие этой кнопки, а затем отправлять запросы из bs4 напрямую к этому серверу. А вообще, для таких задач (нажатие кнопок на сайте итп), используйте Selenium или CDP.

так как я учусь пасингу в bs4

А чего там учить?