Парсер не начинает скролить сайт,что делать?

Question

[Константин]

Парсю сайт, нужно чтобы парсер скролил сайт, до определенного класса в html разметки. более подробно здесь - https://youtu.be/w7YEorllJZI. сайт не скролится

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains

import time


def get_source_html(url):
    chrome_options = Options()
    driver = Service(executable_path="C:\\webdrivers\\chromedriver.exe")
    driver = webdriver.Chrome(options=chrome_options)
    
    driver.maximize_window()

    try:
        driver.get(url = url)
        time.sleep(3)

        while True:
            find_more_element = driver.find_elements_by_class_name("catalog-button-showMore")

            if driver.find_elements_by_class_name("hasmore-text"):
                with open("lesson6/source-page.html", "w") as file:
                    file.write(driver.page_source)
                break
            else:
                actions = ActionChains(driver)
                actions.move_to_element(find_more_element).perfome()
                time.sleep(3)
    except Exception as ex:
        print(ex)
    finally:
        driver.close()
        driver.quit()

def main():
    get_source_html(url = "https://tyumen.zoon.ru/medical/type/detskaya_poliklinika/")

if __name__ == "__main__":
    main()

ошибка:

DevTools listening on ws://127.0.0.1:57572/devtools/browser/200ecaf6-9782-431e-9967-28aa9b57d68b
[11772:10588:0720/161429.055:ERROR:device_event_log_impl.cc(214)] [16:14:29.054] USB: usb_device_handle_win.cc:1048 Failed to read descriptor from node connection: 
Присоединенное к системе устройство не работает. (0x1F)
[11772:10588:0720/161429.070:ERROR:device_event_log_impl.cc(214)] [16:14:29.069] USB: usb_device_handle_win.cc:1048 Failed to read descriptor from node connection: 
Присоединенное к системе устройство не работает. (0x1F)
'WebDriver' object has no attribute 'find_elements_by_class_name'

Comments

[AVKor]

более подробно здесь

Серьёзно думаете, что кто-то будет смотреть какой-то видос?

[soremix]

Версия селениума? В последних версиях поменяли многое, в том числе локаторы
https://www.selenium.dev/documentation/webdriver/e...

[Константин]

soremix, ошибка ушла, но парсер все еще не пролистывает.

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
import time


def get_source_html(url):
    chrome_options = Options()
    driver = Service(executable_path="C:\\webdrivers\\chromedriver.exe")
    driver = webdriver.Chrome(options=chrome_options)
    
    driver.maximize_window()

    try:
        driver.get(url = url)
        time.sleep(3)

        while True:
            find_more_element = driver.find_element(By.CLASS_NAME, "catalog-button-showMore")

            if driver.find_element(By.CLASS_NAME,"hasmore-text"):
                with open("lesson6/source-page.html", "w") as file:
                    file.write(driver.page_source)
                break
            else:
                actions = ActionChains(driver)
                actions.move_to_element(find_more_element).perfome()
                time.sleep(3)
    except Exception as ex:
        print(ex)
    finally:
        driver.close()
        driver.quit()

def main():
    get_source_html(url = "https://tyumen.zoon.ru/medical/type/detskaya_poliklinika/")

if __name__ == "__main__":
    main()

ошибка,которую показывает дебагер

DevTools listening on ws://127.0.0.1:57916/devtools/browser/74374ed7-4670-4cff-b8c9-8e7d83433948
[3412:14744:0720/170000.487:ERROR:device_event_log_impl.cc(214)] [17:00:00.487] USB: usb_device_handle_win.cc:1048 Failed to read descriptor from node connection: Присоединенное к системе устройство не работает. (0x1F)
[3412:14744:0720/170000.501:ERROR:device_event_log_impl.cc(214)] [17:00:00.501] USB: usb_device_handle_win.cc:1048 Failed to read descriptor from node connection: Присоединенное к системе устройство не работает. (0x1F)
Message: no such element: Unable to locate element: {"method":"css selector","selector":".hasmore-text"}
  (Session info: chrome=103.0.5060.114)
Stacktrace:
Backtrace:
        Ordinal0 [0x005F6463+2188387]
        Ordinal0 [0x0058E461+1762401]
        Ordinal0 [0x004A3D78+802168]
        Ordinal0 [0x004D1880+989312]
        Ordinal0 [0x004D1B1B+989979]
        Ordinal0 [0x004FE912+1173778]
        Ordinal0 [0x004EC824+1099812]
        Ordinal0 [0x004FCC22+1166370]
        Ordinal0 [0x004EC5F6+1099254]
        Ordinal0 [0x004C6BE0+945120]
        Ordinal0 [0x004C7AD6+948950]
        GetHandleVerifier [0x008971F2+2712546]
        GetHandleVerifier [0x0088886D+2652765]
        GetHandleVerifier [0x0068002A+520730]
        GetHandleVerifier [0x0067EE06+516086]
        Ordinal0 [0x0059468B+1787531]
        Ordinal0 [0x00598E88+1805960]
        Ordinal0 [0x00598F75+1806197]
        Ordinal0 [0x005A1DF1+1842673]
        BaseThreadInitThunk [0x7716FA29+25]
        RtlGetAppContainerNamedObjectPath [0x775A7A9E+286]
        RtlGetAppContainerNamedObjectPath [0x775A7A6E+238]

[soremix]

robocop45,

no such element: Unable to locate element

[Digering]

Константин, такая-же ошибка, не понимаю из-за чего

Answer 1

[Денис]

Ниже исправленный код. Те методы, которые вы используете (для поиска элементов), вероятней всего устарели. Еще в методе .perform() была опечатка.

def get_source_html(url):
    chrome_options = Options()
    driver = Service(executable_path="C:\\webdrivers\\chromedriver.exe")
    driver = webdriver.Chrome(options=chrome_options)

    driver.maximize_window()

    try:
        driver.get(url=url)
        time.sleep(3)

        while True:
            find_more_element = driver.find_element(
                By.CLASS_NAME, "catalog-button-showMore")

            if driver.find_elements(By.CLASS_NAME, "hasmore-text"):
                with open("lesson6/source-page.html", "w") as file:
                    file.write(driver.page_source)
                break
            else:
                actions = ActionChains(driver)
                actions.move_to_element(find_more_element).perform()
                time.sleep(3)
    except Exception as ex:
        print(ex)
    finally:
        driver.close()
        driver.quit()

Comments

[Dimonchik]

поглядим поглядим