Почему скрипт работает медленно?

Question

[Anonymous547]

Начал потихоньку изучать программирование, написал простенький скрипт на питоне, шифрующий файлы XOR'ом, но не могу никак понять почему он работает очень медленно (около 1 Мбайт/с):

# Получаем пароль, превращаем его в битовую строку, 
# получаем адрес файла, открываем файл в режиме 'r+b'.

FILE_SIZE = os.path.getsize(file_adress)
BLOCK_SIZE = 1000
block = file.read(BLOCK_SIZE)
for i in range(FILE_SIZE // BLOCK_SIZE):
    file.seek(-BLOCK_SIZE, 1)
    new = []
    for byte in block:
        new.append(byte ^ int(bin_password[-8:], 2))
        bin_password = bin_password[-8:] + bin_password[:-8] # циклический сдвиг
    file.write(bytes(new))
    file.flush()
    block = file.read(BLOCK_SIZE)
file.close()

Что делать? :(

Answer 1

[Andrey Dugin]

Во-первых, перестать постоянно считать в цикле то, что должно быть посчитано вне цикла; во-вторых, не делать того, что делать не нужно:
1) int(bin_password[-8:] - кроме того, что это должно быть константами вне цикла, зачем слайс? Получайте bin_password не через bin, а через '{:08b}'.format(your_int_number).
2) Не проще ли просто последовательно читать из одного файла и писать в другой, а потом при необходмости удалить первый и переименовать второй?
3) Вместо циклического сдвига попробуйте collections.deque.rotate() - хотя с учётом п.1 это большой погоды не сделает.
4) Весь цикл 'for byte in block' поместите в list comprehension, и тогда append не нужен.
5) Вместо range используйте xrange, если Python 2.x
6) Используйте mmap
7) Разделить вычисления и I/O - вынести запись в файл в отдельный тред, пусть параллельно работают. Это классика.

Comments

[Anonymous547]

1) Перепилил на циклический проход по списку, вместо изменения строки
2) Уже сделал
4) Перепилил на получение блока из файла в виде bytearray, и его непосредственного изменения
5) Python 3.x
7) В своем обучении до такого кунг-фу я еще не дошел :)
Итого скорость получилась 3 Мбайт/с, на Си тоже самое 100+ Мбайт/с

[Andrey Dugin]

Anonymous547: Попробуйте библиотеку numpy, она с массивами работает очень быстро.

Answer 2

[Владимир Мартьянов]

Попробуйте отказаться от многократного вызова append: копируйте исходный список в new и меняйте элементы в нем с доступом через [].

Comments

[Anonymous547]

Не помогло :(

[Владимир Мартьянов]

Anonymous547: Тогда профайлером смотрите...

[Anonymous547]

Больше всего времени как оказалось занимает циклический сдвиг строки, но даже если убрать всю часть связанную с шифрованием, скорость чтения/записи выше 10 Мбайт/с не поднимается :(

[Владимир Мартьянов]

Anonymous547: Циклический проход по строке можно организовать как bin_password[counter%8], например.

[un1t]

vilgeforce: размер блока пробовал менять?

[Anonymous547]

Пробовал, оптимально получилось блоком по 100 КБ

Answer 3

[un1t]

Если файл небольшой лучше сразу весь в память считать. Если большой увеличь BLOCK_SIZE до нескольких мегабайт хотябы. А вообще конечно сначала выясни, что медленно работает - чтение, запись или преобразование.

Comments

[Anonymous547]

После перепиливания списков на bytearray скорость выросла до 3 Мбайт/с, скорость чтения/записи, без преобразования - от 100 до 1000 Мбайт/с.
Причем внутренний цикл, даже без преобразования (с пустым телом), тормозит программу в 10-20 раз :(

[Anonymous547]

На Си кстати эта же программа у меня выдает 100+ Мбайт/с