Как найти количество вхождений слова в тексте веб-страницы с помощью Python 3?

Question

[Denis9999]

Задача описана в вопросе. Час ищу в интернете что да как, но такое ощущение что продвижения никакого. Подскажите, какие функции использовать, наведите так сказать на путь истинный))

Answer 1

[Павел Каратеев]

А в чем проблема то собственно? Ну хотя бы так:
text.count(word)

Comments

[nirvimel]

А проблема в том, что вы недооцениваете сложность задачи. Прежде чем что-то искать на странице, надо сначала из нее извлечь текст без разметки, а для этого придется полностью ее распарсить, а потом собрать все текстовые элементы обратно в единый текст.

А ваш

text.count(word)<code> пересчитает все теги, атрибуты, комментарии, скрипты и стили.

[Павел Каратеев]

nirvimel: я просто не тороплюсь её усложнять. К слову, есть готовая велосипедка на эту тему: https://pypi.python.org/pypi/html2text

[nirvimel]

Павел Каратеев: Полезная велосипедка, но в данной задаче не сильно поможет, потому что не чистит текст, а меняет одну разметку на другую.

P.S.: Как же шикарно я запорол разметку выше.

Answer 2

[nirvimel]

from collections import Counter
import re

from lxml.html import fromstring
from lxml.html.clean import Cleaner
import requests


def extract_text(node):
    """
    Extract text without markup from node
    """

    def extract_text_gen(node):
        if node.text:
            yield node.text.strip()
        for child in node.iterchildren():
            yield from extract_text_gen(child)
            if child.tail:
                yield child.tail.strip()

    return ' '.join((s for s in extract_text_gen(node) if s))


def count_words(text):
    return Counter((s for s in re.split(r'\s', text) if s))


html = requests.get('https://toster.ru/q/276749').content.decode('utf-8')
root = fromstring(html)
Cleaner()(root)
text = extract_text(root.body)
words_count = count_words(extract_text(root))

print('\n'.join(('"%s": %i' % (word, count) for word, count in words_count.most_common())))

Функция extract_text взята из одного моего проекта, слегка адаптирована и упрощена.

Comments

[abcd0x00]

слегка адаптирована и упрощена

Что-то слишком мудрёно. Код можно сократить раза в два.

[nirvimel]

abcd0x00: Будьте любезны, подскажите как ее можно сократить в два раза при условии что:
1. И node.text, и node.tail могут содержать значения None;
2. Каждый фрагмент должен быть очищен через .strip() от пробелов по краям, чтобы не получить более одного подряд идущего пробела на стыках фрагментов.
3. Пустые строки не должны попадать на вход join, чтобы не получить более одного подряд идущего пробела на стыках фрагментов.

[abcd0x00]

nirvimel:

>>> import lxml.html
>>> import re
>>> import collections
>>> 
>>> text = """
... <a>
...   abc
...   abc
...   <b>
...     def
... 
...     def
...   </b>
...   ghi ghi
... </a>
... """
>>> 
>>> doc = lxml.html.fromstring(text)
>>> lst = doc.xpath(r'.//text()')
>>> 
>>> pat = re.compile(r'\b\S+\b')
>>> words = sum(map(pat.findall, lst), [])
>>> 
>>> counted = collections.Counter(words)
>>> counted
Counter({'def': 2, 'abc': 2, 'ghi': 2})
>>>