Как заставить selenium прогрузить часть страницы, которая загружается после прокрутки scrolbar?

Question

[True Hate]

Допустим мне надо спарсить страницу: страница.
Selenium выдаёт только 18 олимпиад из 251. Как мне заставить его прогрузить страницу полностью?
Код:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from bs4 import BeautifulSoup

ser = Service(r'C:\Users\DNS\Desktop\Python\Test\Проект\Driver\chromedriver.exe')
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--normal')
browser = webdriver.Chrome(service=ser, options=options)

browser.get('https://olimpiada.ru/activities?type=any&class=9&period_date=&period=year&perechen=on')
requiredHtml = browser.page_source

soup = BeautifulSoup(requiredHtml, 'lxml')
open("Htm.html", "w", encoding="utf-16").write(str(soup))

Answer 1

[Kadabrov]

можно сделать прокрутку через js код(есть в интернете)
можно сделать через драйвер селениума нажимать кнопку 'page dawn'
как узнать сколько экранов прокрутить, подумайте сами

Comments

[Kadabrov]

так же на этом сайте можно спарсить все олимпиады с помощью requests