С помощью чего можно вытащить из сотни html документов содержимое определенных тегов и поместить в один текстовый документ?

Question

[darzet]

Доброго, Хабражители.
Прошу совета у знающих людей.
У меня следующая проблема.
Есть сотенка однотипных html документов.
Мне надо вытащить из них все содержимое тега
Говоря языком XPAth html/body/text()
и поместить в один текстовый файлик.
Затем в этом файлике сделать десяток автозамен, чтобы
привести форматирование к нужному виду.
к примеру s/<вr>/<вr>\n/

Советуют разное. Изучать Perl или php.
Учить shell.
Подскажите какими средствами подобное делать лучше всего.
Просто не хочется забивать гвозди микроскопом.

Comments

[Сергей]

все текстовое содержимое или вместе с разметкой нужно вытащить?

[darzet]

Вместе с разметкой вытаскиваю.
А затем делаю автозамены так чтобы получилось новое нужное мне форматирование.

Answer 1

[m08pvv]

Зависит от сложности страничек — может можно и простым grep'ом обойтись.

Answer 2

[ComodoHacker]

Примерчик бы.
Я в таких случаях использую awk или sed.

Comments

[darzet]

дай асю или джаббер и пришлю примерчик=)

[ComodoHacker]

мыло — ник на гмыле

[darzet]

Отправил самый простой вариантик=)

[ComodoHacker]

Ответил.
Примерчики и код хорошо выкладывать на Pastebin (pastebin.com, pastebin.mozilla.org) Например: pastebin.mozilla.org/1278689

[darzet]

Спасибо большое. Спасибо за пэйстбин тоже=) Не знал про этот ресурс.

Answer 3

[sgzmd]

Регэкспы, XML… не ибите мозги. BeautifulSoup решает это проблему на ура. Парсит любой, даже самый битый HTML.

Answer 4

[Rafael Osipov]

С помощью HTML-парсеров на java.

Вот, к примеру, пара из них:

HTMLParser
Jericho HTML Parser

Comments

[darzet]

Спасибо. Попробую поковырять.

[darzet]

Как раз джаву поучу с вашей легкой руки=)

[endymion]

Я советую этот. Просто использовать и результаты показывал хорошие. Ну и не такой старый.

Answer 5

[Velitsky]

Если без парсеров и страницы не очень сложные, то можно это реализовать на каком-нибудь языке, поддерживающим регулярные выражения. Это Perl, Python, PHP и прочие… Я лично люблю Perl… Правда пользуюсь больше PHP)))

Comments

[darzet]

Да да именно regexpы здесь и нужны. Жаль я perl не особо знаю. Вот если бы был мануальчик по такой же проблемке было бы здорово. Насколько я знаю перл и предназначен для капитальной работы с текстами.

[leron]

Регулярные выражения не предназначены для разбора html. Для этого существует дофигища разнобразных парсеров.

Ещё раз: html нельзя парсить регулярками.

[antivir]

Не надо так категорично. Все эти парсеры сделаны на регулярках :)
Парсеры или регулярки — решать нужно в каждом конкретном случае.

[gribozavr]

Нормальные парсеры основаны на автоматах с памятью, а не на регулярках.

[antivir]

Уважаемый, по-вашему начальный разбор текста происходит… по мановению свыше? :)))))

Answer 6

[ComputerPers]

Мне кажется DOM дерево самое то. Проще всего его на джаве реализовать.

Answer 7

[Сергей]

хм… lxml.de/lxmlhtml.html

from lxml import html
import os

with open("../results.txt", "w") as f:
    for fname in os.listdir('./'):
        tree=html.parse(fname)
        body_content=tree.xpath("//body")[0] 
        all_body_text=body_content.text_content() #только текст из всех descendant-or-self
        body_content_with_markup=body_content.tostring(body_content) #текст и разметка descendant-or-self
        result=some_processing("какой-либо из предыдущих результатов") # какие-то доп. замены и манипуляции
        f.write(result) # запихиваем все в один файл

Но если более конкретно скажете что нужно извлечь и какие трансформации нужно проделать — напишу более подробно. Может и на XSLT будет проще, если автозамены касаются в основном тегов.

Если на баше — то есть xmllint, который позволяет в том числе и xpath запросы выполнять
xmllint --html --xpath //body

Регулярки ни в коем случае не используйте ибо stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml-self-contained-tags/1732454#1732454

Answer 8

[Влад Животнев]

Sed поучите или perl. По крайней мере не приобретете бесполезных знаний, которые будут не нужны после решения конкретно этой задачи.

Comments

[antivir]

О, боже. Лучше предложите человеку python или ruby. Тогда можно говорить о полезных знаниях.

Answer 9

[Setti]

querypath

Answer 10

[Dmitry]

Зачем для такой задачи чего-то учить. Закажите на фрилансе, там вам накатают прогу за 10 баксов.

Answer 11

[Crush]

Мне кажется, что базовым знанием для работы с массивами текста являются регулярные выражения (см. книги Дж.Фридла). А дальше идут инструменты, которые позволяют более или менее удобно работать с рекэкспами. Под Win мой герой — это мегакомбайн PowerGrep!

А если учить ничего не хочется, можно объединить все файлы в один «copy *.html alltext.txt» и далее мучить его в текстовых редакторах и сортировать в Excel.

Answer 12

[Bardus]

python s
scrapy.org

Там даже есть возможность посмотреть, как работают демон, через веб морду :)

Answer 13

[vimvim]

Ваша задача называется веб харвестинг.
Есть специальное, очень хорошее средство для этого: web-harvest.sourceforge.net/
На сайте есть примеры для решения типовых ( похожих на Вашу ) задач.