Ускорить обработку файла?

Question

[pw0ned]

Есть текстовый файл который нужно обработать, файл количеством строк в 8 тыс. обрабатывает 56 секунд по показателям cProfile.

Код

import re

with open('base.txt') as file:
    for line in file:
            pattern = r'^([A-z0-9]*)_([A-z0-9]*)(@.*)?:(.*)$'
            newpattern = r'\1_\2\3:\1'
            res = re.sub(pattern, newpattern, line)

            resfile = open('result.txt', 'a')
            resfile.write(res)
            resfile.close()

Есть варианты ускорения подобного? Буду благодарен.

Comments

[sim3x]

переписать вот етот кусок

resfile = open('result.txt', 'a')
            resfile.write(res)
            resfile.close()

[pw0ned]

sim3x, да, я понимаю, именно эта по показателям затормаживает. В какую сторону копать? каким методом файл открывать и обрабатывать ?

[longclaps]

Ты вполне себе отдаёшь отчет в том, что включено в этот класс символов: r'[A-z]'?

[pw0ned]

longclaps, часть мыла до знака "_"

пример:

[e-mail]:password

в варианте с заменой password должно заменить на "odin"

[Andrey Dugin]

1) Не дёргать выходной файл в цикле. Один раз открыть, исполнить циклическую часть, после цикла закрыть.
2) Оптимизировать regex - возможно, можно обойтись вообще без, а строковыми операциями типа str.split();
3) Компилировать regex до цикла - re.compile()

[longclaps]

pw0ned, а вот чем он в действительности является:

print(''.join(chr(i) for i in range(ord('A'), ord('z') + 1)))

[Andrey Dugin]

Ну и вообще довольно странно судить о скорости через cProfile. У меня под Linux файл из 29к строк обрабатывается за 6 микросекунд (%time в Jupyter Notebook). Уж не знаю, что там может код 56 секунд делать...

[longclaps]

sim3x, в одну строку можно упихать открытие нескольких контекстов (начиная с какой то версии питона):

with open('in_file') as in_file, open('out_file') as out_file:
    #.....
    out_file.write(data)

[sim3x]

longclaps, As of Python 2.7 (or 3.1 respectively) you can write

Answer 1

[Ivan Yakushenko]

result = []

with open('base.txt') as file:
    for line in file:
        pattern = r'^([A-z0-9]*)_([A-z0-9]*)(@.*)?:(.*)$'
        newpattern = r'\1_\2\3:\1'
        res = re.sub(pattern, newpattern, line)
        result.append(res)

with open("result.txt", "w") as f:
    for r in result:
        f.write(r)

Comments

[pw0ned]

спасибо большое, теперь все понял )

[sim3x]

result может не влезть в память

[Gleb]

sim3x, Ну не знаю. Спокойно 100 000 строк в список помещается. Куда уж больше?

[Ivan Yakushenko]

sim3x,

файл количеством строк в 8 тыс

Если взять среднюю длину строки за 120 символов, то размер списка с 8000 строками будет без малого 1 мегабайт.
Какой вообще сценарий возможен, что-бы в наличии иметь .txt для которого не хватит ОЗУ? Как его тогда вообще записывали, как открывали?

[sim3x]

Ivan Yakushenko,

for line in file:построчное чтение не читает весь файл

Append файла не требует его чтения

[Ivan Yakushenko]

sim3x, какое это отношение имеет к размеру списка?

[sim3x]

Ivan Yakushenko,

Какой вообще сценарий возможен, что-бы в наличии иметь .txt для которого не хватит ОЗУ?

Как его тогда вообще записывали, как открывали?

[Ivan Yakushenko]

sim3x, что-бы записать файл его нужно открыть. Или питон умеет открывать 1 строку файла?

[sim3x]

Ivan Yakushenko,
"Открытие" файла != чтение файла

Питон умеет итерироваться по строкам не читая файл целиком, о чем я написал выше

Answer 2

[Иван Мельников]

from re import sub

pattern = r'^([A-z0-9]*)_([A-z0-9]*)(@.*)?:(.*)$'
newpattern = r'\1_\2\3:\1'
resfile = open('result.txt', 'w')
with open('base.txt') as file:
    for line in file:
        resfile.write(sub(pattern, newpattern, line))
resfile.close()