Допустим мне надо спарсить страницу:
страница.
Selenium выдаёт только 18 олимпиад из 251. Как мне заставить его прогрузить страницу полностью?
Код:
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from bs4 import BeautifulSoup
ser = Service(r'C:\Users\DNS\Desktop\Python\Test\Проект\Driver\chromedriver.exe')
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--normal')
browser = webdriver.Chrome(service=ser, options=options)
browser.get('https://olimpiada.ru/activities?type=any&class=9&period_date=&period=year&perechen=on')
requiredHtml = browser.page_source
soup = BeautifulSoup(requiredHtml, 'lxml')
open("Htm.html", "w", encoding="utf-16").write(str(soup))
