Как прокручивать страницу вверх Selenium Python?

Question

[dancer_and_programer]

Всем добрый день. Пишу скрипт на Python, который парсит количество публикаций с этой страницы: https://yandex.ru/chat/#/chats/1%2F0%2Fccb05ef5-14...

Но парсер видит только первые 6 публикаций, нужно прокручивать страницу вверх. Дописал строку:

driver.execute_script("window.scrollTo(document.body.scrollHeight, 0);")

Но всё равно не работает, по прежнему 6 публикаций. Подскажите, как сделать так, чтобы скрипт прокручивал вверх и спарсил количество ВСЕХ публикаций на этом канале?*

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup


list_with_link = ['https://yandex.ru/chat/#/chats/1%2F0%2Fccb05ef5-1472-4e50-a926-602807a6ef94']
driver = webdriver.Chrome()
driver.implicitly_wait(10)
for url in list_with_link:
    driver.get(url)

    driver.execute_script("window.scrollTo(document.body.scrollHeight, 0);")
    count = 0
    html = driver.page_source
    soup = BeautifulSoup(html, 'lxml')
    count_of_publ = soup.find_all('div', class_='yamb-message-row')

    for text in count_of_publ:
        count += 1
        
    print('Количество публикаций:', count)

Comments

[dancer_and_programer]

Кто-нибудь знает как прокручивать страницу до самого верха?

Answer 1

[coderisimo]

Общая идея. Вам нужно крутить колесико (скролл) мыши через JS.
Запихните в driver.execute_script что-то в этом роде :

var evt = document.createEvent('MouseEvents');
evt.initEvent('wheel', true, true); 
evt.deltaY = -100000; 
document.querySelector('.yamb-conversation__content').dispatchEvent(evt);

вместо 10000 можно window.innerHeight.

Comments

[dancer_and_programer]

Спасибо за ответ! Могли бы пожалуйста уточнить, что значит засунуть js код в driver.execute_script?

[dancer_and_programer]

Я не силён в js, ошибка глупая. Вы имеете в виду так?

evt = driver.execute_script(document.createEvent('MouseEvents'))
    evt.initEvent('wheel', True, True)
    evt.deltaY = -100000
    document.querySelector('.yamb-conversation__content').dispatchEvent(evt)

[coderisimo]

dancer_and_programer, я сейчас в лесу. Писать неудобно. Весь мой код в кавычки и вместо вашего

"window.scrollTo(document.body....

:))

[dancer_and_programer]

driver.execute_script('var evt = document.createEvent("MouseEvents");'
    'evt.initEvent("wheel", true, true);'
    'evt.deltaY = -100000;'
    "document.querySelector('.yamb-conversation__content').dispatchEvent(evt);'")

Пайчарм вывел ошибку: :(

selenium.common.exceptions.JavascriptException: Message: javascript error: Invalid or unexpected token

[dancer_and_programer]

coderisimo, даже так не робит:

driver.execute_script('var evt = document.createEvent("MouseEvents"); '
                          'evt.initEvent("wheel", true, true);'
                          'evt.deltaY = -100000;'
                          'document.querySelector(".yamb-conversation__content").dispatchEvent(evt);)')

Выводит по прежнему ошибку:

Traceback (most recent call last):
  File "C:/Users/user/PycharmProjects/project/parser_2.py", line 20, in <module>
    driver.execute_script('var evt = document.createEvent("MouseEvents"); '
  File "C:\Users\user\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 634, in execute_script
    return self.execute(command, {
  File "C:\Users\user\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "C:\Users\user\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.JavascriptException: Message: javascript error: Unexpected token ')'
  (Session info: chrome=83.0.4103.61)

[coderisimo]

dancer_and_programer, весь мой код в ОДНУ пару кавычек. driver.execute_script - позволяет вам выполнять javascript на странице. Код туда передается в виде строки. У вас сейчас вот этот код.
"window.scrollTo(document.body.scrollHeight, 0);"
я предложил вам заменить его на другой. Т.е все вместе будет выглядеть вот так.

driver.execute_script("var evt = document.createEvent('MouseEvents');evt.initEvent('wheel', true, true);evt.deltaY = -100000;document.querySelector('.yamb-conversation__content').dispatchEvent(evt);")

[dancer_and_programer]

coderisimo, но тогда прокручивается лишь на пару публикаций вверх, а не в самый старт

[dancer_and_programer]

dancer_and_programer, count поставил в цикл...
Спасибо за ответ!

[coderisimo]

dancer_and_programer, пожалуйста )

[dancer_and_programer]

coderisimo, скажите, а где Вы взяли эту строку? Где её найти на сайте?

var evt = document.createEvent('MouseEvents');
evt.initEvent('wheel', true, true); 
evt.deltaY = -100000; 
document.querySelector('.yamb-conversation__content').dispatchEvent(evt);

[coderisimo]

dancer_and_programer, этой строки нет на сайте. Это JS код. Вы создаете событие и вызываете его на нужном элементе разметки.
ИНФА

[dancer_and_programer]

coderisimo, спасибо!

[coderisimo]

dancer_and_programer, удачи