Как с использованием Python получить содержимое, контент открытого окна браузера?

Question

[Maксим Волков]

В целях повышения навыков работы с Python, пытаюсь написать скрипт автоматизации процессов, для получения и анализа данных поисковой выдачи Yandex и Google по нужным фразам.

Используя библиотеку PyAutoGUI – добился открытия браузера, и с имитацией действия реального пользователя, движений мышью, печати поисковой фразы в форме поиска, открытия страницы с результатами поиска по фразе…

Но что делать дальше и куда двигаться? Как получить содержимое окна браузера, для анализа полученных данных?
Полагаю, использовать популярные для парсинга данных библиотеки Python типа requests и BeautifulSoup в данном случае не будет правильным и рациональным решением.
При использовании Selenium, при открытии окна браузера, Yandex выдает капчу.

Прошу совета:
На какие способы, подходы, библиотеки стоит обратить внимания для выполнения задачи?
Как можно получить содержание, контент открытого окна браузера для его анализа?
Может быть есть возможность с использованием Python получить контент открытого окна браузера, проанализировать HTML страницы, определить координаты нужного DOM дом элемента для последующего клика?

Comments

[Vindicar]

Есть разные варианты Selenium. undetected-chromedriver пробовал? Или только стоковый вариант?

[Maксим Волков]

Vindicar, Благодарю, ознакомлюсь.
Пробовал только оригинальный варинт.

[Владимир Куц]

Для подобных задач собственно Selenium придумали

Answer 1

[Bug]

Используй Selenium, эмуляция браузера и управление

Comments

[Maксим Волков]

Благодарю! С этим вопросом разобрался, использую selenium-stealth 1.0.6, Google Crome - работает без обнаружения процессов автоматизации.

Однако, столкнулся с другой проблемой - в Crome почему-то не работает движение мышью, перемещение курсора, на выбранный элемент DOM дерева страницы для клика, сам клик происходит, курсор меняется как при наведении на ссылку, но фактически не меняет местоположение на странице.
Код selenium:

clickable = driver.find_element(By.ID, "product_1934")
ActionChains(driver)
        .click_and_hold(clickable)
        .perform()

Не работает, курсор не двигается, не перемещается на указанный объект для клика, хотя клик, и переход на другую страницу по клику работает.

PyAutoGUI - работает, курсор перемещается успешно, но определить координаты нужного для клика элемента не получается. Selenium - позволяет выбирать элемент, и определять его размеры и координаты местонахождения на странице. Но полученные Selenium координаты для PyAutoGU - не подходят.
Кто ни будь сталкивался с такой проблемой? Как её решить?

[Bug]

Maксим Волков, зачем движение мышью? если требуется: https://www.selenium.dev/documentation/webdriver/a...