Как парсить (очищать/разбирать) HTML после граббинга?

Question

[weranda]

Приветствую

Тренируюсь на кошках. С выдергиванием отдельных элементов со страницы все более или менее понятно, а вот с постобработкой сохраненного HTML кода — непонятно. Как его очищать от ненужных данных (ссылок, выделений, других тегов) я пока не понимаю. На ум приходят регулярные выражения и теоретически можно было бы ими воспользоваться, но не советуют.

Что делаю:
— Сохраняю Scrapy содержимое блока .mw-parser-output

Что непонятно:
— как удалить теги ссылок, выделений (жирный, курсив)
— как удалить блок содержания страницы
— как удалить все имеющие классы и идентификаторы
— как удалить целые блоки (примечания, литература, ссылки)
— в целом постобработка контента

Разумеется, можно было бы сразу при поиске элементов в Scrapy прописать:

//div[@class='mw-parser-output']/*[not(@class='toc' or @class='reflist not-references')]
исключили блок навигации и литературы

Но чую, что есть варианты гораздо правильней.
Поделитесь, пожалуйста, своими знаниями.

Answer 1

[Владимир]

никто не заморачивается с последующей очисткой :)
получил html и выдергивай оттуда то что тебе надо, структурируй и складывай в БД или другое место
scrapy построен также, у тебя есть прописанная конечная структура Items в которой описаны те данные, которые должны быть на выходе. и в процессе разбора html просто добавляешь нужные данные в эти Items. это все

Comments

[weranda]

Вопрос как раз в том, как очистить, а не не очищать.
Выдернул я первый абзац текста, а внутри ненужные ссылки и от них надо избавиться.

[Владимир]

weranda, ну так это простая работа с тестовым блоком. RexExp для этого идеален

[weranda]

Владимир, а вот парень из приведенного мной примера со stackoverflow так делать не советует, но и примеров реализации не дает и его поддерживают тысячи и тысячи людей.

[Владимир]

weranda, я люблю делать ошибки. это же так хорошо дает понять почему это плохо или хорошо. и да, у меня всегда есть свой путь :)
поэтому парень может быть и хороший, но он говорит о парсинге HTML вообще. в вашем случае парсинг происходит с помощью scrapy а парсить Вы будете просто item в котором содержится текст.
так что все кошерно, можно пользоваться :)

[weranda]

Владимир, В любом случае спасибо за помощь. С RegExp мне все понятно, но, сами понимаете, наверняка есть другие способы/библиотеки.

[Владимир]

weranda, самый короткий путь - тот который знаешь
это не я сказал, но помоему сказано очень правильно :)

Answer 2

[Михаил]

Правильный путь и есть конкретизация поиска, т.е отсеивание лишнего на этапе сбора данных а не после.