Парсинг с сайта после его полной прогрузки?

Question

[Kibernet]

Всем здрасти.
Нужно спарсить данные с сайта, после его полной прогрузки.
Пытался сделать это с помощью requests, но как вы поняли, парсится только начальная информация. А мне нужно дождаться полной прогрузки данных и спарсить их.
Нужны какие-нибудь решения, помимо Selenium'a

Comments

[Электо Хаус]

Какой сайт? На чем написан? Случайно не букмекер? Что забрать нужно? Селениум умеет ждать) Наверно ты хочешь использовать Splash.
В любом случае ты бы мог поставить слип и все)

[Kibernet]

Электо Хаус, Нет, сайт с криптой. Нужно дождаться прогрузки средств и спарсить.
А о каком Spalsh'e идёт речь

[Электо Хаус]

Kibernet, Spalsh Фреймворк такой.
Покажи сайт.

Answer 1

[Yanis07]

driver = creat_chrome()
        driver.get(url)
        WebDriverWait(driver, 20).until(EC.visibility_of_all_elements_located((By.ID, "DisplayNewsDetails_main_div")))
        innerHTML = driver.execute_script("return document.documentElement.outerHTML")

Вот тут селеним ждет когда исполнится все скрипты на

innerHTML = driver.execute_script("return document.documentElement.outerHTML")

сайте потом дает тебе HTML

Полный код моего парсера тут https://github.com/denisyakimov07/qse_parser/blob/...