Roktober

Какое совпадение, вчера писал такую штуку
советую использовать gspread
https://gitlab.com/roktober/money_observer

Тут нужен selenium, с ним можно нажимать копки и управлять страницей как с обычного браузера
Вот примеры с css selector и id
Но нужно быть осторожным, selenium не позволяет нормально отследить прогрузку страницы, поэтому используйте sleep или WebDriverWait если знаете, какой элемент ищете
Примеры для сайта https://dbkpop.com/db/all-k-pop-idols, не знаю как сейчас, но раньше работали

def expand_table(self):
        css = "button.btn.dropdown-toggle.btn-default"
        self.driver.execute_script(f"document.querySelector('{css}').scrollIntoView();")
        button = self.driver.find_elements_by_css_selector(css)
        if button:
            button[0].click()
            button_all = self.driver.find_elements_by_link_text("All")
            button_all[0].click()
        time.sleep(30)

    def accept_cookie(self):
        try:
            cn = WebDriverWait(self.driver, 10).until(
                EC.presence_of_element_located((By.ID, "cn-accept-cookie"))
            )
            cn.click()
        except:
            pass
        try:
            cn = WebDriverWait(self.driver, 10).until(
                EC.presence_of_element_located((By.ID, "onesignal-popover-cancel-button"))
            )
            cn.click()
        except:
            pass
        time.sleep(10)

Для парсинга лучше используйте lxml или bs4 с движком lxml, он работает намного быстрее, пример с таблицей

def get_table_data(self):
        self.table = self.driver.find_elements_by_id(self.table_id)[-1]
        for th in self.table.find_elements_by_xpath(".//thead//tr")[0].find_elements_by_xpath(".//th"):
            self.table_headers.append(th.text)
        table_data = self.table.find_elements_by_xpath(".//tbody//tr")
        module_logger.info(f"Founded {len(table_data)} tr in table")
        for tr in table_data:
            data = []
            for td in tr.find_elements_by_xpath(".//td"):
                in_td = td.find_elements_by_xpath(".//*")
                if in_td:
                    in_td = in_td[-1]
                    if in_td.tag_name == "a":
                        link = in_td.get_attribute("href")
                        data.append(link)
                    else:
                        text = in_td.text
                        if text:
                            data.append(text)
                else:
                    data.append(td.text)
            self.table_data.append(data)