Как автоматически удалить во множестве html файлах кусок кода, учитывая, что он разный в каждом отдельном файле?

Question

[Дмитрий Тимошкин]

У меня есть 39 тыс. html файлов, мне в них нужно оставить только один кусок кода, а остальной код удалить. Как это сделать автоматически, учитывая, что тот кусок кода, который нужно оставить, в каждом отдельном html файле разный (кстати он заключен в тег <article>), так же тот код, который нужно удалить, тоже в каждом отдельном файле разный?
Короче говоря задача сводится к этому: нужно удалить код до открывающего тега <article> и удалить код после закрывающего тега </article>. Код, который нужно оставить, заключен в теги <article>. Все этот нужно сделать автоматически, пакетно.
Надеюсь понятно объяснил)

Comments

[Дмитрий Тимошкин]

Я в этом плохо разбираюсь, объясните пожалуйста подробней как это все выполнить, в какой программе? Все это мне нужно сделать с html файлами, которые находятся на компьютере.

Answer 1

[Stalker_RED]

Если у вас одна пара тегов <article>, то все довольно просто решается при помощи регулярных выражений.

Обрезать все что до <article> так: 's/.+<article>/<article>/'

Обрезать все что после </article> так: 's/<\/article>.+/<\/article>/'

Рекурсивно пройтись по папкам как-то так
https://stackoverflow.com/questions/6758963/find-a...

Comments

[Kovalsky]

В частности, для Boost.Regex нужно было бы вот такое выражение: (\s|.)*(<article>.*?</article>)(\s|.)*, с заменой на $1

[Дмитрий Тимошкин]

Никита Полевой, Я в этом плохо разбираюсь, объясните пожалуйста подробней как это все выполнить, в какой программе? Сами эти 39 тыс. файлов лежат в папке на компьютере.

[Kovalsky]

Дмитрий Тимошкин, ну так вам же скинули ссылку на инструкцию, в чем проблема возникла?

[Дмитрий Тимошкин]

Никита Полевой, я там ни черта не понял, тем более все по-английски.

[Kovalsky]

Дмитрий Тимошкин, вы под виндой?

[Дмитрий Тимошкин]

Никита Полевой, да, виндоус 10

[Kovalsky]

Дмитрий Тимошкин, я только что попробовал сделать это в саблайме под виндой, буфер для регулярок упал... Так что видимо вам проще всего будет попросить знакомого красноглазого за бутылку пива решить эту проблему с помощью find/grep+xargs, как предложил Stalker_RED.

[Stalker_RED]

Дмитрий Тимошкин, в вин10 есть встроенная убунта, можно ее включить.
Если с этим сложности, можно поставить cygwin.

В консоли прописать соответствующие команды. Про саблайм в данном случае лучше забыть, даже если он это сделает, это будет очень долго.

В принципе, можно обойтись и "родными" виндовыми утилитами - написать скриптик под WSH или powershell. Либо поставить какую-то утилиту типа RXREPL.

[Дмитрий Тимошкин]

Stalker_RED, я установил cygwin, а что делать дальше? помогите пожалуйста.
Закинул 39000 html файлов в папку C:\cygwin64\home\diama\proizvoditeli

[Kovalsky]

Дмитрий Тимошкин, небольшой апдейт: попробовал новую регулярку, эту - [\s\S]*?(<article>[\s\S]*<\/article>)[\s\S]*, вроде не падает. Можете затестить: ставите sublime text 3, включаете его, нажимаете Ctrl+Shift+F, в поле Find копируете [\s\S]*?(<article>[\s\S]*<\/article>)[\s\S]*, справа от поля Where открываете менюшку, нажимаете Add folder и добавляете вашу папку. В поле Replace пишете $1, нажимаете справа Replace. Отпишитесь о результатах, если не трудно. Для теста желательно использовать копию проекта, конечно, а не оригинал.

[Дмитрий Тимошкин]

Никита Полевой, эта регулярка удаляет то, что до и после ?

[Kovalsky]

Дмитрий Тимошкин, ну вам же это надо? Строго говоря, она выбирает весь текст, но сохраняет все в теге article включая сами теги, а потом заменяет всё на сохраненное значение

[Дмитрий Тимошкин]

Никита Полевой, выскакивает сообщение No matches found. Тестил на трех html файлах.
Еще уточнение, отрывающий тег article такой: <article role="main">

[Дмитрий Тимошкин]

Никита Полевой, Никита Полевой, а сейчас вот что вышло в сублайме

Searching 3 files for "[\s\S]*?(<article>[\s\S]*<\/article>)[\s\S]*"
0 matches

[Kovalsky]

Дмитрий Тимошкин, если присутствует только атрибут role, то вы можете просто добавить его в регулярку:

[\s\S]*?(<article role="main">[\s\S]*<\/article>)[\s\S]*

[Дмитрий Тимошкин]

Никита Полевой, добавил, тоже самое в сублайме выходит

Searching 3 files for "[\s\S]*?(<article role="main">[\s\S]*<\/article>)[\s\S]*"
0 matches

Захожу после этого в папку с файлами, там ничего не изменено.

[Kovalsky]

Дмитрий Тимошкин, ну тут уж где-то ваша ошибка: вы сказали, что у вас текст находится в теге article, я создал тестовый файл:

test.xml

<chapter version="1.21" id="chapter_01">

    <p>before</p>

    <article role="main">text content</article>

    <p>after</p>
</chapter>

И после замены с помощью

[\s\S]*?(<article role="main">[\s\S]*<\/article>)[\s\S]*

на $1 в документе осталось только это: <article role="main">text content</article>

Так что ищите у себя ошибки, либо в условии, либо в исполнении.

[Дмитрий Тимошкин]

Никита Полевой, извините я вас с толку сбил, нажимал до этого на Find. Сейчас ввожу все что вы сказали, нажимаю на Replace и выскакивает ошибка No matches found. Что может означать эта ошика?

[Kovalsky]

Дмитрий Тимошкин, не знаю, давайте код тогда. Разве что несмотря на тесты все равно буфер не выдерживает у саблайма.

[Stalker_RED]

Дмитрий Тимошкин, регулярки удобно тестировать здесь: https://regex101.com/r/KtFN3q/1

И в саблайме она работает.


Тестовый файл вы не показываете, код вы не показываете, задаете общие вопросы, и хотите чтобы кто-то дал вам рабочее решение?

И еще разок: вы замучаетесь обрабатывать 40к файлов в саблайме. Смотрите в сторону консольных утилит или скриптов.

[Дмитрий Тимошкин]

Дмитрий Тимошкин, временно не мог ответить, так как выскочило сообщение, что у меня закончился лимит комментариев, написал вам на почту и туда же выслал html файл.
Попробовал сделать все тоже самое в Notepad ++ и все получилось. С тремя файлами получилось, не знаю получится ли с 39 тыс. файлами, но вот сейчас смотрю обрабатывает.

[Дмитрий Тимошкин]

Stalker_RED, хотел отправить html файл Никите Полевому, да закончился временно лимит сообщений. Попробовал сделать все тоже самое в Notepad ++ и все получилось. С тремя файлами получилось, не знаю получится ли с 39 тыс. файлами, но вот сейчас смотрю пока вроде бы обрабатывает.

Answer 2

[Дмитрий Тимошкин]

Большое спасибо всем за помощь. Получилось обработать через Notepad ++ все 39 тыс. файлов, через эти команды

[\s\S]*?(<article role="main">[\s\S]*<\/article>)[\s\S]*

$1