Как ускорить процесс замены слов Python?

Question

[Eldrich]

Доброго дня.

Необходимо произвести замену слов в небольшом массиве текста (чуть более 1 млн. слов), согласно словарю.
Сейчас я осуществляю это топорно:

text = re.sub(r'\bз\b', '', text)
text = re.sub(r'\bзап\b', '', text)

Задача в том, что таких замен необходимо сделать около 20 000 на всем массиве текста и данное решение явно неоптимально, так как времени на обработку уходит непростительно много.

Есть ли способы ускорить данный процесс?
Спасибо

Answer 1

[Евгений]

Можно начать с простого:

bad_words_re = re.compile(r'\b(з(ап)?)\b')
bad_words_re.sub('', text)

Во-первых, выражение компилируется один раз, во-вторых, оба слова заменяются за один проход.

Comments

[Eldrich]

Я скорее всего не верно описал задачу..

Сами замены слов по словарю практически не повторяются, то есть

text = re.sub(r'\bухудша\b', 'ухудшается', text)                     
text = re.sub(r'\bирадиционные\b', 'традиционные', text)                
text = re.sub(r'\bтг8о\b', 'того', text)

Хотя компилирование одинаковых элементов ускорит процесс, спасибо.

[Евгений]

Нет, вряд ли ускорит. В вашем случае оно все равно будет скомпилировано один раз. Не знаю, я бы возможно отказался от регулярных выражений, так как единственное, что используется — \b.

Может быть поиск по подстроке, с последующей проверкой, что совпадение по границе слова, окажется быстрее. Тогда можно будет искать сразу все слова, проверять найдено ли слово, и искать замену по словарю для конкретного вхождения.

Может оказаться быстрее, может — нет, надо проверять.

[ivodopyanov]

А если все слова, которые мы хотим находить в тексте, сохранить посимвольно в виде дерева, где каждый узел - это следующий символ в этом слове, и для некоторых есть спец. дочерний элемент, который содержит слово, на которое надо заменять? Как это называется... AST вроде бы.
И тогда для замены просто читаем исходное слово посимвольно слева направо, от каждого символа параллельно начинаем спускаться по дереву и идти по слову дальше. Если нашли полное совпадение - сохраняем индексы, по которым надо сделать замену, и слово, на которое надо заменить; перескакиваем через эти индексы и идем дальше.

Answer 2

[vikholodov]

Я бы добавил многопоточность, каждому потоку дать на съедение свою часть "массива". Ну и не совсем понятно в каком виде хранится у вас все это добро, если под массивом имеется ввиду список, то может быть можно использовать генератор с проверкой на вхождение в список искомых слов?

Answer 3

[Igor Nikolaev]

Попробуйте отказаться от регулярок в пользу replace.
replace работает сильно быстрее.

str.replace() should be used whenever it's possible to. It's more explicit, simpler, and faster.

In [1]: import re

In [2]: text = """For python 2.5, 2.6, should I be using string.replace or re.sub for basic text replacements.
In PHP, this was explicitly stated but I can't find a similar note for python.
"""

In [3]: timeit text.replace('e', 'X')
1000000 loops, best of 3: 735 ns per loop

In [4]: timeit re.sub('e', 'X', text)
100000 loops, best of 3: 5.52 us per loop

https://stackoverflow.com/questions/5668947/use-py...

Comments

[Eldrich]

Начинал с replace, однако никак не могу понять, как заменять отдельные слова в массиве текста

[Igor Nikolaev]

Eldrich, дайте пример массива

[Eldrich]

Любая строка текста, например

text = 'ухо фурункул фу' 

text  = text.replace('ух', '')
text  = text.replace('фу', '')

Останется 'о рункул', удалить необходимо только 'фу'

[Igor Nikolaev]

Чего вы хотите добиться?
Правильно я понимаю, что "фурункул" должно сохраниться а "фу" замениться?

[Eldrich]

Igor Nikolaev, остаться должно только 'ухо фурункул '