Как очистить HTML от всех аттрибутов?

Question

[Вячеслав Грачунов]

Нужно очистить HTML-страницу от всех аттрибутов, скриптов и прочего, оставив только html-теги и текст. Есть ли что-то? Может плагин какой к Sublime Text?

Comments

[szQocks]

а вот в vs code с этим проблем бы особо небыло, ctrl + f и нашёл всё что нужно и не нужно и через replace all решил вопрос

скорее всего и в Sublime Text есть такое

[Вячеслав Грачунов]

szQocks, так это долго и муторно - приемлемо если мало аттрибутов, а если на каждый тег пяток понавешано - задолбаешься

[szQocks]

Вячеслав Грачунов, проблема была бы с дата атрибутами, да пришлось бы попотеть минут 15-20 а то и пол часа, а так остальные аттрибуты за 2 минуты можно убрать ( распространённые атрибуты заменить на пустоту и всё )

хотя может и гулярку юзнуть можно, не пробовал, подсказать не смогу

[Александр Васильев]

Обычно чищу этим

[Сергей delphinpro]

Я бы скриптик написал и прогонял бы через него файлы.
Например, в php можно использовать нечто подобное htmlpurifier.org

Для vscode сходу нагуглился плагин https://marketplace.visualstudio.com/items?itemNam...
Может и для других IDE/редакторов есть аналоги.

[Вячеслав Грачунов]

szQocks, есть проблемка с регулярками - чищу сохраненный в html вордовский документ, а там инлайновые стили порой разбиваются в середине разрывом строки - соответственно регулярки не работают. Мне выходит нужно регулярным выражением искать что-то подобное:

style='.+'

а выходит, что это не пашет, т.к. точка означает любой символ кроме \n , а мне нужно включая его и такого варианта в регулярках, как понимаю, не существует

[szQocks]

Вячеслав Грачунов, да и без регулярок можно быстро сделать, не только в файле, но и сразу во всех файлах в проекте, найти через поиск все атрибуты, и заменить их на пустоту, после этого пробежаться по HTML и посмотреть какие ещё атрибуты остались ( которые не часто используемые или одинарные, к примеру если в html всего лишь одна форма и 1 аттрибут action )

дата аттрибуты можно найти через data-* или просто ввести data- и там увидишь какие аттрибуты есть и каждый по отдельности заменить на пустоту

это займёт минут 10-20 всё максимум

аттрибуты распространённые

представь что тебе во всём проект нужно заменить название переменной, для этого и существуют эти поиски и замена их на другое название и т.д, ты как будто первый раз с этим сталкиваешься

[Natalia Baženova]

Если нужно это делать постоянно, то логично было бы взять javascript, обойти все nodes, убрать атрибуты, а результат отправить на сервер. Все необходимые для этого функции имеются.

Answer 1

[Вячеслав Грачунов]

В итоге ничего путного для Sublime Text и других не нашел - очистил самописным скриптом на питоне:

from bs4 import BeautifulSoup, Comment
import os

def clean_html(html):
    # Парсим HTML
    soup = BeautifulSoup(html, 'html.parser')

    # Удаляем комментарии
    for element in soup(text=lambda text: isinstance(text, Comment)):
        element.extract()

    # Удаляем скрипты и стили
    for script in soup(['script', 'style', 'link', 'meta']):
        script.decompose()
    
    # Оставляем только теги без атрибутов
    for tag in soup.find_all(True):
        if tag.name == "td":
            tag.attrs = {key: value for key, value in tag.attrs.items() if key == "colspan"}
        else:
            tag.attrs = {}

        print(tag.attrs)

     # Удаляем пустые теги
    for x in soup.find_all():
        if len(x.get_text(strip=True)) == 0 and x.name not in ['br', 'img']:
            x.extract()

    # Удаляем ненужные теги, оставляя содержимое
    invalid_tags = ['p', 'span']

    for c in invalid_tags:
        while soup.find(c):
            exec(f"soup.{c}.unwrap()")
    
    return str(soup.prettify())

dir_path = os.path.dirname(os.path.realpath(__file__))
fin_path = os.path.join(dir_path, "прайс.htm")
print(fin_path)
fin = open(fin_path, "r", encoding="cp1251")
html = fin.read()

html = clean_html(html)

fin.close()
fout_path = os.path.join(dir_path, "price.htm")
print(fout_path)
fout = open(fout_path, "w+", encoding="utf-8")
fout.write(html)
fout.close()

Answer 2

[fkk]

В любом +\- редакторе есть замена по регуляркам, просто сделать замену навскидку по <\s*([a-zA-Z0-9]+)([^>]*[^\/])> на пустую строку (регулярку не проверял).

А так, скрипт на лобом языке написать 5 минут, даже без особых навыков, в эру то чатов жпт... Ему можно даже просто скормить HTML и порпросить почистить.

Comments

[Вячеслав Грачунов]

Есть проблемка с регулярками - чищу сохраненный в html вордовский документ, а там инлайновые стили порой разбиваются в середине разрывом строки - соответственно регулярки не работают. Мне выходит нужно регулярным выражением искать что-то подобное:

style='.+'

а выходит, что это не пашет, т.к. точка означает любой символ кроме \n , а мне нужно включая его и такого варианта в регулярках, как понимаю, не существует

[fkk]

Вячеслав Грачунов, по идее моя регулярка вообще все атрибуты сносит и оставляет чистый тег.