Как найти на странице сайта область с полезным контентом?

Question

[L0k1]

Суть задачи - поиск неких слов на страничках сайта. Поиском будет заниматься расширение для браузера.
Проблема: как определить, что я ищу слово не по всему документу, а именно по полезной ее части?

Например можно было бы сходу выбросить из поиска теги, аля aside, nav... может даже header и footer - хотя в них тоже может быть полезная инфа, например в хедере будет заголовок статьи. Искать по всему body? - тогда я буду находить текст и в рекламных блоках, что не есть гуд

кто-нибудь уже решал данную задачу?

Answer 1

[ThunderCat]

Данный вопрос разбирался на тостере неоднократно, сам писал ответы. Ищите по ресурсу.

Comments

[xmoonlight]

да-да! Согласен! +1 ))

[L0k1]

здорово, что вы солидарны - вот только гугол ничего внятного не дал, да и вы такую очевидную ссылку на вопрос, или хотя бы запрос, по которому можно найти не написали. Может все-таки не так уж этот вопрос и разбирался?

[ThunderCat]

L0k1: https://toster.ru/search?q=%D0%BF%D0%B0%D1%80%D1%8...

Answer 2

[Greg Popov]

Задача сама по себе немного двояко непроста:
1. По стандартам верстают не все
2. Нужно конкретно смотреть на структуру разбираемого ресурса

Comments

[L0k1]

именно отсюда и вопрос - ресурс может быть абсолютно любой :(

[Greg Popov]

L0k1: можно понадеяться на разного рода ЦМС-ки, а именно на их порядочность в плане контента, а точнее, любой текст не служебного назначения пихается в параграф (), можно брать и считывать только с него.

Answer 3

[Сергей Горячев]

Если речь идет о вообще любом ресурсе и любых данных по какому-то образцу, то проблем тут куча. Верстают-то все, как кому удобно.
Я год назад писал парсер для выдергивания мейлов и телефонов, так лучший результат - 56%. То есть из 100 страниц я получал 56 контактов. И это для заранее известных форматов, для которых можно прописать регулярку...

Answer 4

[xmoonlight]

ну, если кратко: это задача поиска ОСНОВНОГО контента страницы.
1. Удаляем все контейнеры (кроме тэгов разметки текста), с количеством дочерних элементов превышающих 1.
2. Чистим контейнер body от всех тегов, кроме тегов-контейнеров (div,td)
3. Находим контейнер (div,td) с самым длинным текстом.
4. Смело его грабим.

Пример.
Было:

<div1>
  <div2>
   <a href="/1/">link1</a>
   <a href="/2/">link2</a>
  </div>
  <div3>
    <span contetnt>
         some text
      <p>
        <i>more text</i>
       </p>
    </span contetnt>
  </div3>
</div1>

Стало:

<div3>
  some text
  more text
</div3>

Comments

[L0k1]

> 1. Удаляем все контейнеры, с количеством дочерних элементов превышающих 1.
при такой логике какой-нибудь врапер с кучей абзацов мы сходу и удалим

[xmoonlight]

L0k1: нет, удаляем только повторяющиеся div, ul, td. При проверке - не трогаем тэги стилизации текста ("p" и т.д.).