Как ускорить выполнение preg_replace (в массиве 100 паттернов)?

Question

[alexh7854]

Здравствуйте.

Я обрабатываю текст через регулярные выражения в php, использую функцию preg_replace.
Передаю в функцию массивы с паттернами, массив с заменами и текст.

В массивах с паттернами и заменами около 100 элементов. Пример паттерна - #(\b{$word}\b)[\s$](?![^<]*>|[^<>]*<\/)#ui".

Сейчас функция отрабатывает секунд за 5, что слишком медленно.

Можно ли как-то ускорить / оптимизировать?

Comments

[Кирилл Несмеянов]

Ну так вызывай preg_replace один раз, а не 100

[Дмитрий]

Кирилл Несмеянов, так один вызов как я понял, массивы большие

[Сергей Соколов]

точно ли задача решается исключительно регулярками?
Там что-то с парсингом тегов, если не ошибаюсь – это лучше без регулярок.

[alexh7854]

Сергей Соколов, поиск слов в тексте которые находятся вне тегов, затем оборачиваю слова в нужные теги. кроме регулярок вариантов не вижу

[alexh7854]

Кирилл Несмеянов, сначала так и было, разницы в скорости нет. так же медленно

[ThunderCat]

alexh7854, Вы бы привели практическую задачу, для чего эти танцы-минус, может и решение интересное какое нашлось...

[Кирилл Несмеянов]

Дмитрий, 100 элементов - это разве много?

В любом случае можно воспользоваться моим лексером и сравнить с ним: https://phplrt.org/docs/lexer

$tokens = ['tag' => '<\w+.+?>', 'word' => '\b{$word}\b', 'any' => '.+?'];

foreach ((new Lexer($tokens, ['any']))->lex('text here') as $token) {
    echo $token . "\n";
}

Это практически максимальная скорость, что можно выжать из регулярок. Если там тоже будет ~5 секунд (это примерно 500 мегабайт текста должно быть), то ничего не поделать.

[yarnstart]

Если у вас была проблема и вы решили ее регулярками, то теперь у вас две проблемы

Answer 1

[Сергей П]

Так себе идея обрабатывать теги регулярками, но...
Пощупать вашу проблему я не могу ввиду страшной аллергии к ПХП.
Могу предложить ряд оптимизацией обобщенного характера.

1. Проанализировать регулярки, найти зависимости и "скомпилировать" их в одну регулярку или небольшую группу из нескольких. Обрабатывать регулярки можно эвентуально. То есть дополнительно анализировать матчи программно и в зависимости от контекста подставлять соответствующую замену. Ещё можно пир компиляции регулярок в одну поименовать группы уникально так, чтобы по имени проматченной группы можно было найти нужную замену в словаре замен.
   
2. Если замены более-менее однотипные, например одни теги заменяются на другие, то можно вообще построить общую универсальную простую регулярку на тег, а программно смотреть по словарю чему соответствует матч и делать нужную замену.
   

Эти оптимизации позволят сделать замены за число проходов, которое не кратно числу регулярок, которых много. В идеале за один проход.

Вообще, система, построенная на высокочастотной обработке большого текста сотней регулярок явно спроектирована как-то неправильно. Как выше сказали, наверняка эту проблему надо было решать в другом месте.