Как замедлить процесс парсинга на SELENIUM?

Yaroslav O., спасибо за ответ! А у Вас есть сайты и статьи, где можно со всей этой информацией подружиться и узнать еще новое о таких возможностях js?

Как замедлить процесс парсинга на SELENIUM?

Yaroslav O., спасибо за решение. Извините, т.е. написать функцию парсера на js, а остальное на питоне? А как их синхронизировать, чтобы они работали вместе? Это же 2 разных языка? Вопрос скорее всего звучит глупо, но в js не разбираюсь

Как замедлить процесс парсинга на SELENIUM?

Yaroslav O., под супер быстрой подкруткой я подразумеваю это:

for i in range(200):
    driver.execute_script("var evt = document.createEvent('MouseEvents');evt.initEvent('wheel', true, true);evt.deltaY = -100000;document.querySelector('.yamb-conversation__content').dispatchEvent(evt);")
    html2 = driver.page_source
    soup2 = BeautifulSoup(html2, 'lxml')

он прокручивает 1 раз (т.е. на 9 публикаций), затем берет html старницы и парсит его и добавляет в другую переменную полученные (спарсенные) данные, затем вновь прокручивает на 9 публикаций, парсит html и тд и так 200 раз

Как замедлить процесс парсинга на SELENIUM?

Yaroslav O., Вот получается, что скроллит 200 раз (иногда и раньше доходит до самого начала, до надписи КАНАЛ СОЗДАН), но скорость прокрутки большая. Как её замедлить? Он пропускает сообщения из-за супер быстрой прокрутки

Как замедлить процесс парсинга на SELENIUM?

Yaroslav O., а что Вы подразумеваете под словом "интересный"? Что можно придумать, чтобы обойти эту проблему со скроллингом? Я поставил цикл 200, но это супер быстро, JS на сайте не успевает загрузиться и некоторые сообщения он просто не видит и сроллит дальше

Как замедлить процесс парсинга на SELENIUM?

Yaroslav O., я отправил текст Вам на почту

Как замедлить процесс парсинга на SELENIUM?

Yaroslav O., я могу скинуть весь код (пасрер)

Как замедлить процесс парсинга на SELENIUM?

Yaroslav O., такая фишка не сработала, но спасибо что ответили

Как замедлить процесс парсинга на SELENIUM?

Yaroslav O., всмысле в конец после ;? Вот так?:

driver.execute_script("var evt = document.createEvent('MouseEvents');evt.initEvent('wheel', true, true);evt.deltaY = -100000;document.querySelector('.yamb-conversation__content').dispatchEvent(evt);scroll-behavior: smooth;")

Как прокручивать страницу вверх Selenium Python?

coderisimo, спасибо!

Как прокручивать страницу вверх Selenium Python?

coderisimo, скажите, а где Вы взяли эту строку? Где её найти на сайте?

var evt = document.createEvent('MouseEvents');
evt.initEvent('wheel', true, true); 
evt.deltaY = -100000; 
document.querySelector('.yamb-conversation__content').dispatchEvent(evt);

Как прокручивать страницу вверх Selenium Python?

dancer_and_programer, count поставил в цикл...
Спасибо за ответ!

Как прокручивать страницу вверх Selenium Python?

coderisimo, но тогда прокручивается лишь на пару публикаций вверх, а не в самый старт

Как прокручивать страницу вверх Selenium Python?

coderisimo, даже так не робит:

driver.execute_script('var evt = document.createEvent("MouseEvents"); '
                          'evt.initEvent("wheel", true, true);'
                          'evt.deltaY = -100000;'
                          'document.querySelector(".yamb-conversation__content").dispatchEvent(evt);)')

Выводит по прежнему ошибку:

Traceback (most recent call last):
  File "C:/Users/user/PycharmProjects/project/parser_2.py", line 20, in <module>
    driver.execute_script('var evt = document.createEvent("MouseEvents"); '
  File "C:\Users\user\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 634, in execute_script
    return self.execute(command, {
  File "C:\Users\user\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "C:\Users\user\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.JavascriptException: Message: javascript error: Unexpected token ')'
  (Session info: chrome=83.0.4103.61)

Как прокручивать страницу вверх Selenium Python?

driver.execute_script('var evt = document.createEvent("MouseEvents");'
    'evt.initEvent("wheel", true, true);'
    'evt.deltaY = -100000;'
    "document.querySelector('.yamb-conversation__content').dispatchEvent(evt);'")

Пайчарм вывел ошибку: :(

selenium.common.exceptions.JavascriptException: Message: javascript error: Invalid or unexpected token

Как прокручивать страницу вверх Selenium Python?

Я не силён в js, ошибка глупая. Вы имеете в виду так?

evt = driver.execute_script(document.createEvent('MouseEvents'))
    evt.initEvent('wheel', True, True)
    evt.deltaY = -100000
    document.querySelector('.yamb-conversation__content').dispatchEvent(evt)

Как прокручивать страницу вверх Selenium Python?

Спасибо за ответ! Могли бы пожалуйста уточнить, что значит засунуть js код в driver.execute_script?

Как прокручивать страницу вверх Selenium Python?

Кто-нибудь знает как прокручивать страницу до самого верха?