Как оптимизировать большое количество регулярных выражений?

Question

[DeadAndDieFox]

У меня имеется переменная в которой 800000 уникальный текстовых записей, а так же переменная с 10000 уникальный регулярных выражение. Мне нужно максимально быстро проверить, какие тексты проходят по регуляркам (если текст подошёл хотя бы к одной, то можно переходить к следующему тексту).
На данный момент я увеличил объём кэша и из этого выжал максимум пользы, однако, этого мало. Сама программа работает по следующей логике. Я запускаю цикл, который проходится по каждому тексту отдельно, а в нём уже запускаю цикл, который проходится по каждому регулярному выражению. Таким образом подставляю в re.compile(pattern) re.match(text). Если есть матч, выхожу из цикла, возвращаю текст в успешный файл, а если не подходит ни один паттерн, то цикл завершается и возвращает текст в неудачный файл.
Как это можно оптимизировать? Сначала пытался через Numba, но позже выяснил, что regex она не поддерживает, да и в этом нет необходимости. Проблема именно во вложенности, ведь неподходящие ни к чему тексты перебирают все 10k регулярок, тем самым замедляя поиск.

Абстрактный код:

for i in texts:
    error = True
    for j in patterns:
        reg = re.compile(j)
        result = reg.match(i)
        if result != None:
            success.append(i)
            error = False
            break
    if error == True:
        error.append(i)

Comments

[AUser0]

А почему бы не построить систему наоборот? Сначала компиляцию regexp, и потом с ним проходить по текстовым строкам.

[mayton2019]

А покажи фрагмент текста. Может там как-то по другому можно сделать.

[DeadAndDieFox]

AUser0, я не совсем понял, как закомпилировать это всё, а потом по всем регуляркам проходиться не вызывая метод compile. Судя по всему, плохо ищу...

[shurshur]

DeadAndDieFox,

compiled_expressions = [re.compile(j) for j in patterns]

for i in texts:
    for compiled_expr in compiled_expressions:
        compiled_expr.match(i)

[DeadAndDieFox]

shurshur, большое спасибо. Было вполне очевидно. Почему-то я ожидал, что в кэш запишутся данные в другом виде и можно спокойно запускать match без обращения к чему-то, кроме самой либы.

Ещё раз большое спасибо, код действительно стал быстрее.

[mayton2019]

DeadAndDieFox, ну если это - решение то отпишите его в ответы. Поставлю плюсик.

[Viktor T2]

Может на полнотекстовый поиск заменить?
Любой из имеющегося множества систем.
В зависимости от задачи,
полнотекстовый поиск может искать в том числе по шаблонам (простым).

Answer 1

[Aetae]

Ну очевидно, что надо хранить реги уже скомпилированными, исключив шаг re.compile из цикла.
Далее можно вести статистику и поднимать(тем или иным образом) более частые реги в массиве повыше.
Ну а дальше уже использование каких-нить низкоуровневых либ, но ИМХО и первого должно хватить.)
...Ещё можно распараллелить, но хз какие у тебя там ресурсы по ядрам.
...Ещё можно склеить эти 10к регулярок в одну и прогнать через глубокий оптимизатор регулярок. Если результат выйдет адекватным, то можно предварительно проверять текст на соответствие такой единой оптимизированной регулярке. Но это, понятное дело, сильно зависит от твоего набора.

Comments

[DeadAndDieFox]

Спасибо за совет. Я бы остановился на первом варианте, пока что.
Поискал информацию, ничего не нашёл. Попробовал просто компайл вытащить из цикла. Прогнал его через другой цикл и запустил матчинг, но осталась только самая последняя регулярка. Понял, что сделал тупую вещь, но как сделать именно то, что Вы сказали, не смог найти(
Можно, пожалуйста, поподробнее или названия метода, который позволяет массово всё это сохранить в кэше или переменной(не совсем пока понимаю, как оно храниться будет)?

Так же интересен последний вариант. Рассмотрю, в случае, если первый не особо спасёт. Большое спасибо за рекомендацию и этого способа.

[Vindicar]

DeadAndDieFox, нужно просто включить голову и подумать.
У тебя сейчас так:

for i in texts:
    error = True
    for j in patterns:
        reg = re.compile(j)
        ...

Я полагаю, что patterns - это некоторый список, который ты грузишь из файла.
Что тебе мешает сделать так:

compiled_patterns = [re.compile(p) for p in patterns]
for i in texts:
    error = True
    for reg in compiled_patterns:
        ...

Ещё замечу, что в Питоне есть удобынй синтаксис для твоего error = True.

compiled_patterns = [re.compile(p) for p in patterns]
for i in texts:
    for reg in compiled_patterns:
        result = reg.match(i)
        if result != None:
            success.append(i)
            break
    else:  # относится к for reg in...
        error.append(i)