Алгоритм парсинга страниц по списку ключевых слов?

Question

[Валентин]

Добрый день.Вопрос про сам процесс парсинга страницы, а не ее получение (с помощью curl или любого другого инструмента).
Есть некая страница (HTML-документ) и список ключевых слов. Необходимо получить количество вхождений каждого слова на странице. Мне пришло в голову только генерировать регулярку (что-то вроде (слово1|слово2|слово3)), а потом считать простым перебором количество вхождений.
Какие есть более изящные решения? Реализовывать предполагаю на PHP или nodejs.

Answer 1

[⚡ Kotobotov ⚡]

переборы, переборчики, простите мама так жизнь меня воспитала, по пхпэшным понятиям блатным.
откуда такая любовь у пхпшников всё через переборы реализовывать?
когда у вас ключевиков за несколько тысяч перевалит, вы часами будете ждать результаты ваших переборов, тем более на пхп).
более изящные решение - использовать суффиксные деревья.

Answer 2

[Дмитрий Ким]

sandbox.onlinephpfunctions.com/code/37932fd36ced8e...

$text = 'Добрый день.Вопрос про сам процесс парсинга страницы, а не ее получение (с помощью curl или любого другого инструмента).
Есть некая страница (HTML-документ) и список ключевых слов. Необходимо получить количество вхождений каждого слова на странице. Мне пришло в голову только генерировать регулярку (что-то вроде (слово1|слово2|слово3)), а потом считать простым перебором количество вхождений. 
Какие есть более изящные решения? Реализовывать предполагаю на PHP или nodejs.';

preg_match_all('/слово|документ/ui', $text, $matches, PREG_PATTERN_ORDER);

print_r($matches);

Array
(
    [0] => Array
        (
            [0] => документ
            [1] => слово
            [2] => слово
            [3] => слово
        )
)

Comments

[Валентин]

я тоже самое описал в вопросе, что тут нового?

[Дмитрий Ким]

Валентин: получается вы ищете в закромах php какую-то функцию super_parser_mega_counter($text, $words) возвращающую массив [$word1 => $count1, $word2 => $count2]? Нет такой, к сожалению.

[Валентин]

Дмитрий Ким: получается я ищу эффективный алгоритм для решения поставленной задачи, перечитайте заголовок топика внимательнее.

[Дмитрий Ким]

Валентин: тогда не знаю, какой алгоритм будет эффективнее одной регулярки.

Answer 3

[abcd0x00]

Нагруженное множество надо сделать.
Потом просто получаешь последовательность всех слов страницы, проходишь по ним, сравнивая с шаблоном, и инкрементируешь счётчик во множестве для соответствующего ключа.

Вот тебе иллюстрация на питоне

>>> words = ['a', 'b', 'c', 'a', 'b', 'b']
>>> 
>>> d = {}
>>> for i in words:
...     if i in d:
...         d[i] += 1
...     else:
...         d[i] = 1
... 
>>> print(d)
{'b': 3, 'c': 1, 'a': 2}
>>>