Как улучшить производительность скрипта python?

Question

[Артур Бекеров]

Приветствую. Есть простой цикл, который перебирает изображения с размером около 50 Мб.
OpenFile это библиотека, с помощью которой я открываю файлы. Если открывать 20 файлов по порядку, то работает быстро, после 50 файлов уже начинается замедление. Я думал это кеширование какое то локальное, но скорость начинает падать пропорционально количеству файлов.
что делать?

for file in files[:20]:
            print file
            dataset = OpenFile(file)
            data = ReadAsArray()
            print data [3000, 5000]

Answer 1

[Yuri Shikanov]

Открывайте файлы в конструкции `with` чтобы после выхода из тела конструкции (и завершении работы с файлом) ресурсы освобождались.
Еще советую прочитать вот этот пост по поиску утечек памяти.

Answer 2

[Vladimir Abramov]

https://docs.python.org/2/library/profile.html начни с этого

Answer 3

[Алексей Черемисин]

Используйте numpy для работы с большими массивами, будет щазтие! Там же есть scipy и работа с изображениями, может пригодится...

import numpy
...
for file in files[:20]:
            print file
            dataset = OpenFile(file)
            # data = ReadAsArray()
            data = numpy.fromfile(dataset, dtype=numpy.dtype(numpy.int16))
            dataset.close()
            print data [3000, 5000]

Comments

[xSkyFoXx]

Или cython. Тоже шустрый, если у нас что-то про науку и/или большие данные.

Answer 4

[unclechu]

Если по хардкору, — то можно на каждый файл пустить по процессу асинхронно, или хотябы по пачке файлов, штук 10 например. Процесс обработал, вернул какой-то результат, завершился. А главный скрипт в это время оперирует этими процессами и собирает с них полученные данные.