Как получить из страницы только текст без тэгов и стилей?

Question

[Bur Ov]

Добрый день. Могу ли я с помощью php+curl получить только текст со страницы без html\css\js ?

Answer 1

[Rsa97]

Берёте Simple HTML DOM Parser, передаёте ему загруженную страницу и смотрите plaintext.
Но, если страница формируется динамически в браузере, то такой способ не сработает.

Comments

[rPman]

я встречал страницы (например то что возвращает aliexpress) на которых почти все php парсеры пасовали, даже после tidy, т.е. некоторые страницы корректно проходят анализ а некоторые нет.

помимо simple html dom parser есть штатный DOMDocument, пользоваться им сложнее и нет нормального xpath/css query, но тоже рабочий

Answer 2

[Владимир Коротенко]

Попробуйте безголовый браузер, код в принципе адаптируется и под php
https://github.com/php-webdriver/php-webdriver

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument("--start-maximized")

driver = webdriver.Chrome(chrome_options=options,executable_path='D:/Java/TestChrome/lib/chromedriver.exe')

driver.get("https://www.zoom.com.br/ar-condicionado/todos")
wait = WebDriverWait(driver, 20)

stores = wait.until(EC.presence_of_all_elements_located((By.XPATH,'//span[@class="storeCount-txt"]')))
print("test : " + stores[0].get_attribute('innerText'))

Comments

[rPman]

innerText игнорирует visibility
я собирал getBoundingClientRect() для каждого dom элемента на странице, и все что имели не нулевые размеры считал видимыми (правильно еще пересечения смотреть но мало кто так коряво дизайнит 'сокрытие' данных), остается взять только конечные листья и смотреть их node.textContents.