Михаил Р.

- В 15 годах писал похожий парсер, используя node, fetch и axios, но сейчас часть сайтов возвращает html без таблиц с ценами, почему?

- Для чего нужны selenium, playwright и puppeteer, если я могу через fetch и axios все получить?

Скорее всего проблема в динамическом формировании этих данных на странице. Тут сразу 2 правильных ответа, можете и не можете единовременно:
- Можете - в инструментах разработчика браузера смотрите, с какого адреса приходят данные и затем дергайте данные напрямую, минуя сам сайт, в таком случае можно продолжать использовать fetch.
- Не можете - если вариант выше сложен, то вам нужен инструмент, который сможет выполнять js на странице. fetch/axios возвращают первый ответ сервера, т.е. js на тот момент еще не выполнился на странице, соответственно данные не были подгружены. Вопрос рендера js на странице решают инструменты по типу selenium, playwright и puppeteer.

- Если все же использовать selenium, playwright и puppeteer, что из них лучше на данный момент?

Вначале нужно определить, что понимается под "лучше":
- Можно использовать критерий современности, тогда puppeteer отпадает (playwright написала команда puppeteer).
- Можно использовать критерий производительности, тогда selenium проигрывает playwright сразу по 2 пунктам, по прожорливости и отклику на действия.
- Можно использовать критерий обнаружения анти-бот системами, тогда selenium (с учетом undetected_chromedriver) проигрывает playwright тем, что имеет явную дополнительную задержку в ~100-300мс при выполнении CDP команд, что прям заметно. Playwright такой задержки либо не имеет вообще, либо она в рамках погрешности.

Можно ли их с nodejs использовать?

Selenium написан на java, но так же имеется возможность использования его с nodejs. Playwright вообще написан на ts, все примеры документации и сопутствующие библиотеки с большей вероятность будут писаться под ts по умолчанию.

- Часто вижу о упоминание CDP в контексте парсинга, это зачем и для чего нужно?

CDP (Chrome DevTools Protocol) грубо говоря - это некие "низкоуровневые" команды для "chromium based" браузеров, который позволяют этим браузером управлять. В playwright так реализованы большинство "высокоуровневых" команд, например: при использовании playwright мы пишем await locator.getAttribute(name), а playwright использует аналогичную команду из CDP DOM.getAttributes или DOM.describeNode.

- Что использовать для отправки сообщений в телегу?

Если речь идет об nodejs, то Telegraf.

Вероятно код парсера падает до явного закрытия сессии, сборщик мусора python удаляет все ссылки на уже не нужный объект (python вызывает __del__ для объекта driver), затем вы явно пытаетесь закрыть несуществующий объект. Чтобы этой проблемы не было, используйте исключения и закрывайте сессия предсказуемо, либо используйте контекстный менеджер with (хотя автор и сообщает, что это больше не требуется), тогда явно ничего не нужно будет закрывать:

import undetected_chromedriver as uc

with uc.Chrome() as driver:
    pass

print("Успех или ошибка? Сессия все равно успешно закрыта!")

Если не помогло, то вот еще решение https://github.com/ultrafunkamsterdam/undetected-c...

How to automate shadow DOM elements using selenium?

Если коротко, то порядок следующий:
1. Сначала нужно найти в основном dom тот элемент, к которому прикреплен shadow root.
2. У п1. нужно получить свойство .shadow_root.
3. И вот уже у п2. нужно вызывать его собственный метод find_element, чтобы найти нужный элемент внутри него.

Или так:
Локатор не находит элемент на сайте, хотя набран верно, пробовал разные варианты, не помогает, в чём проблема?

А если прочитать ошибку? Один экземпляр хрома уже использует этот профиль. Кильните процесс и начните заново, а также оберните в try except сам код, а quit в finally, чтобы больше не оставалось висячих процессов.

Я попробовал много способов, но все они не помогают мне обойти защиту

Какие пробовали?

Язык не важен

Не важен.

важен алгоритм. Как мне это сделать

1. Playwright + no headless.
2. Открываем отдельный профиль браузера.
3. Заходим на сайт с cloudlfare, ждем загрузки окна капчи, жмем на него, сохраняем куку и попадаем на сайт.

Последующий заход так же выполняем через профиль браузера из п2, cloudflare будет доволен, временно. Ну и про правильный отпечаток браузера + правильный ip я думаю смысла говорить нет.

Язык не важен, важен алгоритм. Как мне это сделать? Не предлагайте сторонние API для решения капчи.

Если с headless и без привязки к Python, то статьи по теме:
- Об одном способе веб-скрапинга сайтов, защищенных ....
- Парсим сайты с защитой от ботов.
- Chrome Headless против cloudflare JS challenge.

Способ рабочий, работает в том или ином виде до сих пор. Тема коммерческая, поэтому ответ без готового решения (да и он не требуется, судя по ТЗ).

Вручную можно сделать через настройку "Разрешить сайтам показывать небезопасный контент" с указанием ссылки на web ui, но не понимаю как это можно реализовать в коде.

Создайте профиль браузера, разрешите что нужно, затем запускайте selenium под этим профилем. Это костыль, но менее костыльный, чем другой.

Нейронка это конечно хорошо, но желательно проверять, что она пишет:

# EC.presence_of_element_located((By.CSS_SELECTOR, "product-slider__img js-product-current-img"))
EC.presence_of_element_located((By.CSS_SELECTOR, ".product-slider__img.js-product-current-img"))

Ниже код для Chrome и FF (Python 3.10, Windows 11 Pro 23H2) - все прекрасно работает, за исключением сайта-помойки, который грузится минуту:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

options = Options()
service = Service(r'D:\project\chromedriver-130.0.6723.93.exe')
driver = webdriver.Chrome(service=service, options=options)

url = 'https://superstep.ru/product/NCFSW0W288YW_GRA/#colorGRA'
driver.get(url)

try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, ".product-slider__img.js-product-current-img"))
    )
    page_html = driver.page_source
    print(page_html)

except TimeoutException:
    print("Элемент не найден")

finally:
    print('Программа завершена')
    driver.quit()

from selenium import webdriver
from selenium.webdriver.firefox.service import Service
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

options = Options()
service = Service(r'D:\project\geckodriver.exe')
driver = webdriver.Firefox(service=service, options=options)

url = 'https://superstep.ru/product/NCFSW0W288YW_GRA/#colorGRA'
driver.get(url)

try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, ".product-slider__img.js-product-current-img"))
    )
    page_html = driver.page_source
    print(page_html)

except TimeoutException:
    print("Элемент не найден")

finally:
    print('Программа завершена')
    driver.quit()

Возможно ли с помощью selenium создать такой скрипт, что:

Возможно, что может "увидеть" живой человек в браузере, то может и selenium. Вопрос лишь в написание кода и преодоление защиты со стороны сайта, если таковая имеется.

P.S. если контент сайта формируется не динамическим путем, то проще использовать библиотеки по типу requests.

Nodriver, официальная замена undetected-chromedriver.

$ curl https://codeforces.com/

<!DOCTYPE html><html lang="en-US"><head><title>Just a moment...</title><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=Edge">

Первый ответ сервера (а bs4 в большее и не умеет), возвращает среди прочего < title>Just a moment... title>, уже как бы намекая, что там что то происходит... Защита может быть элементарной, но не видя Ваш код, говорить о решение не приходится.

данный код не работает

Конечно не работает, Вы обращаетесь к свойству click (которого не существует), а не к методу click().

# driver.find_element("xpath", "//input[@id='LinkDa']" ).click
driver.find_element("xpath", "//input[@id='LinkDa']" ).click()

Полный вариант:

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get('https://autoins.ru/osago/raschet-stoimosti-osago/proverit-kbm/')

# Debug
time.sleep(10)

checkbox = driver.find_element(By.XPATH, '//label[@for="linkDa"]')
checkbox.click()

# Debug
time.sleep(10)

button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.ID, "btnDa"))
)

button.click()

# Debug
time.sleep(10)

driver.quit()

Headless

Необходимо использовать относительные пути в XPATH:

# h2= g.find_element(By.XPATH, '//h2').text
h2 = g.find_element(By.XPATH, './/h2').text

Как в selenium открыть селектор на JS?

Т.е. элемент, который создаётся динамически? Используйте явное ожидание элемента и уже затем взаимодействуйте с ним.

Как сделать, чтобы selenium открывал уже авторизированную страничку?

Относительные пути XPath?
By.XPath(".//div/div[1]/div[1]/div/span")

driver.quit()

Используйте как минимум 1 глобальное исключение, и в случае ошибки, выполняйте driver.quit(), т.к. в ином случае, скрипт крашнется, а сессия браузера останется.

Но далее чтобы получить номер уже зареганым, просит подтвердить капчей.

Профайл браузера и/или деятельность скрипта подозрительны.

Есть ли возможность сделать движения похожими на человеческие

Карта изучения Selenium, есть у вас источники и книги для изучения?

или еще лучше, как-то сделать имитацию регистрации и получить номер

Можно, аналогично тому, как это может сделать живой человек.