Как вырезать текст между двумя тэгами в xml?

Question

[bik]

Вечер добрый!

Ребят помогите пож. добиться удаления текста между тэгами description:
pastebin.com/bm31r1sh

Попытался сам таким макаром, но без результата:

sed 's#\(<description>\).*\(</description>\)#\1'xxxxx'\2#g' test.xml > test2.xml
sed '/<description>/,/<\/description>/{//!d}' test.xml > test2.xml

Файл сам по себе очень большой и xml утилиты вылетают при обработке.

Заранее спасибо!

Answer 1

[abcd0x00]

Сначала готовишь текст, чтобы было поудобнее, потом обрабатываешь. Из-за этого два раз sed вызывается.

text="\
a
b
c
x1xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx<description>
  Туалетная вода-спрей
  &lt;br&gt;ВОСТОЧНЫЙ ФУЖЕР
  &lt;br&gt;Мужчина в стиле ориентирован на успех, целеустремлен и созидателен. Мужественность, достоинство, уверенность – его главные черты,    наряду с чувственностью и романтичностью. Он любит комфорт, красивые вещи,   роскошную жизнь и выражает себя в классическом пок$
 &lt;br&gt;Ключевые слова: Уверенный, динамичный, мужественный, благородный,  элегантный, статусный, успешный</description>y1yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
x2xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx<description>
  Туалетная вода-спрей
  &lt;br&gt;ВОСТОЧНЫЙ ФУЖЕР
  &lt;br&gt;Мужчина в стиле ориентирован на успех, целеустремлен и созидателен. Мужественность, достоинство, уверенность – его главные черты,    наряду с чувственностью и романтичностью. Он любит комфорт, красивые вещи,   роскошную жизнь и выражает себя в классическом пок$
 &lt;br&gt;Ключевые слова: Уверенный, динамичный, мужественный, благородный,  элегантный, статусный, успешный</description>y2yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
d
e
f
"

echo -n "$text"

echo -n "$text" | sed 's%<description>%&x|||%g; s%</description>%|||x&%g' \
                | sed '/x|||/ { :join N; /|||x/! b join ; s/x|||.*|||x// }'

Вывод

[guest@localhost ~]$ text="\
> a
> b
> c
> x1xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx<description>
>   Туалетная вода-спрей
>   &lt;br&gt;ВОСТОЧНЫЙ ФУЖЕР
>   &lt;br&gt;Мужчина в стиле ориентирован на успех, целеустремлен и созидателен. Мужественность, достоинство, уверенность – его главные черты,    наряду с чувственностью и романтичностью. Он любит комфорт, красивые вещи,   роскошную жизнь и выражает себя в классическом пок$
>  &lt;br&gt;Ключевые слова: Уверенный, динамичный, мужественный, благородный,  элегантный, статусный, успешный</description>y1yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
> x2xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx<description>
>   Туалетная вода-спрей
>   &lt;br&gt;ВОСТОЧНЫЙ ФУЖЕР
>   &lt;br&gt;Мужчина в стиле ориентирован на успех, целеустремлен и созидателен. Мужественность, достоинство, уверенность – его главные черты,    наряду с чувственностью и романтичностью. Он любит комфорт, красивые вещи,   роскошную жизнь и выражает себя в классическом пок$
>  &lt;br&gt;Ключевые слова: Уверенный, динамичный, мужественный, благородный,  элегантный, статусный, успешный</description>y2yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
> d
> e
> f
> "
[guest@localhost ~]$ 
[guest@localhost ~]$ echo -n "$text"
a
b
c
x1xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx<description>
  Туалетная вода-спрей
  &lt;br&gt;ВОСТОЧНЫЙ ФУЖЕР
  &lt;br&gt;Мужчина в стиле ориентирован на успех, целеустремлен и созидателен. Мужественность, достоинство, уверенность – его главные черты,    наряду с чувственностью и романтичностью. Он любит комфорт, красивые вещи,   роскошную жизнь и выражает себя в классическом пок$
 &lt;br&gt;Ключевые слова: Уверенный, динамичный, мужественный, благородный,  элегантный, статусный, успешный</description>y1yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
x2xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx<description>
  Туалетная вода-спрей
  &lt;br&gt;ВОСТОЧНЫЙ ФУЖЕР
  &lt;br&gt;Мужчина в стиле ориентирован на успех, целеустремлен и созидателен. Мужественность, достоинство, уверенность – его главные черты,    наряду с чувственностью и романтичностью. Он любит комфорт, красивые вещи,   роскошную жизнь и выражает себя в классическом пок$
 &lt;br&gt;Ключевые слова: Уверенный, динамичный, мужественный, благородный,  элегантный, статусный, успешный</description>y2yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
d
e
f
[guest@localhost ~]$ 
[guest@localhost ~]$ echo -n "$text" | sed 's%<description>%&x|||%g; s%</description>%|||x&%g' \
>                 | sed '/x|||/ { :join N; /|||x/! b join ; s/x|||.*|||x// }'
a
b
c
x1xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx<description></description>y1yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
x2xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx<description></description>y2yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
d
e
f
[guest@localhost ~]$

Answer 2

[bik]

abcd0x00

Спасибо болшое. Если в консоле исполняю Ваш пример, все отрабатывается четко.
А вот на оригинальном файле слишком много удаляется:
gross-trading.com/feed.xml

Ориентируюсь по числинности стринга
cat feed.xml|grep '</offer>'|wc -l

Comments

[abcd0x00]

bik:

А вот на оригинальном файле слишком много удаляется:

Посмотрел

[guest@localhost t]$ head -1 feed.xml | wc -c
999692
[guest@localhost t]$

Слишком длинные строки в файле, sed нельзя использовать для таких длинных строк. По стандарту он разрешает строки до 8Kb. Что он там дальше допускает - негарантированно (могут быть ошибки из-за обрезков).

Скорее всего, это надо перегнать в базу данных какую-нибудь (вроде sqlite) и проделать операции с ней.
(Можно, конечно, укоротить строки, а потом sed'ом обработать, но это не стоит того, он здесь просто не подходит.)

Answer 3

[pcdesign]

Если я правильно понял вопрос, то на perl можно вот так:

use strict;
use warnings;
use utf8;

my $text = <<'EOF';
<description>
  Туалетная вода-спрей
  &lt;br&gt;ВОСТОЧНЫЙ ФУЖЕР
  &lt;br&gt;Мужчина в стиле ориентирован на успех, целеустремлен и созидателен. Мужественность, достоинство, уверенность – его главные черты,    наряду с чувственностью и романтичностью. Он
 любит комфорт, красивые вещи,   роскошную жизнь и выражает себя в классическом пок$
 &lt;br&gt;Ключевые слова: Уверенный, динамичный, мужественный, благородный,  элегантный, статусный, успешный</description>

EOF

$text =~ s{<description>.*?</description>}{<description></description>}gsi;

print $text;

Результат:
<description></description>

Comments

[bik]

если применить на весь файл, то ломается структура xml, вот как я попробывал

#!/usr/bin/perl

use strict;
use warnings;
use utf8;

open(INDAT, "alex.xml");
my $text = <INDAT>;
$text =~ s{<description>.*?</description>}{<description></description>}gsi;

print $text;

[pcdesign]

bik: Не правильно делаете.
Если вы хотите считать его в переменную, то вот так

$text = join('', );

[pcdesign]

my $text= join('', <FILE>);

[bik]

pcdesign:

Спасибо, попробывал, сработало, но удаляет слишком много :))

Предпологаю связанно это с тем что в одной строке несколько тэгов и удаляются и другии.
Файл:
gross-trading.com/file.gz
Может есть у Вас подходящий скрипт на perl или php, который сможет удалить содержимое тэга прямо внутри файла без предварительной загрузки в память?

Единственное что я нашел, так это библиотека XML::Twig вроде справляется с данной задачей...

Спасибо

[pcdesign]

bik: Файлик всего 300 мегов, это ерунда. Можно и в оперативу засовывать.
Для ускорения можно попробовать модуль

use File::Slurp;
my $text = read_file( 'firms.xml', binmode => ':utf8' );

А можно пример текста, в котором срабатывает неправильно?
Ну то есть кусок текста из файла, где регулярное выражение режет что-то нужное.

[pcdesign]

Я взял ваш большой файл. И вот так из консоли его запустил.
Считал файл построчно.
И дальше сохранил в файл out.

perl -e 'open(InFile, "file"); while(<InFile>){s!<description>.*?</description>!<description></description>!gsi; print;}' > out

Время выполнения 2 секунды.

Файл до обработки 351M, а после 331M.

[pcdesign]

perl -e 'open(InFile, "file"); while(<InFile>){s/\n|\r//g; s!<description>.*?</description>!<description></description>!gsi; print;}' > out

Вот еще удаляем переводы строк.

[bik]

pcdesign

Получилось, спасибо!

Вы сможете мне написать парсер на Perl для файла по ссыле выше (я заплачу)?
Нужна конвертация в CSV.
Мой мейл: [e-mail]

[pcdesign]

bik: Ну можно попробовать, напишите ТЗ, что должно получится, дайте образец.

[bik]

можно Ваш мейл?

[pcdesign]

bik: Написал вам с цитатой вашего сообщения.