Как избежать ошибки MemoryError?

Question

[Андрей Иванов]

Есть программа, которая принимает список xlsx файлов и прогоняет их построчно по очереди, достает нужные сведения и сопоставляет их между собой (ищет совпадения в файлах и так далее..)
Выглядит примерно так:

key_info = {}
for file in tuple_of_files:
    wb = openpyxl.load_workbook(file, read_only=True)
    first_sheet = wb.sheetnames[0]
    for row in wb[first_sheet].rows:
        #тут фрагмент кода чтобы достать из строки нужный объект, который мы сохраняем в переменную var_info
        if var_info not in key_info:
            key_info[var_info] = {'count' : 1, 'reg' : None, 'oper' : None, 'time_use' : set(),  'imeis' : set()}
            #далее фрагмент кода по вычислению и заполнению подсловаря для этого объекта
        if var_info in key_info:
            key_info[var_info]['count'] += 1
            key_info[var_info]['time_use'].add(some_info)
            key_info[var_info]['imeis'].add(some_other_info)

Потом используя словарь с ключевыми значениями key_info создаю xlsx файл и записываю в него результаты анализа.
Программа работает, пока общее число строк в передаваемых ей файлах не превышает примерно 1млн, и в целом делает свою работу. Но когда пытаешься передать файлы с большим объемом (общее число строк около 5млн), то возникает ошибка memoryError.
Я понимаю, что это из-за того, что словарь key_info просто уже не может вмещать информацию, однако разбить его на несколько других файлов или обнулять через определенное число строк, никак не получится - теряется весь функционал проверки..

Как можно избежать этой ошибки? Зависит ли она от мощности используемого ПК?

Comments

[devdb]

- Перейти на 64-битную операционную систему и увеличить память
- Уменьшить размер данных (например, вместо длинных строк их хэши, например MD5 или SHA1, сократить названия полей, инициализировать set()-поля как None если бывает что в них нет значений и т.д.)
- Выгружать все лишние данные в базу данных (например, значения key_info[var_info]), и обновлять их ТАМ по мере надобности. Кстати, базы данных могут быть in-memory, т.е. не на диске и весьма быстро работающие.

Answer 1

[noremorse_ru]

if var_info in key_info:
заменить на else
Множества set() тебе зачем? Они сами по себе тяжелые, возьми список
Ну и самое главное, зачем ты хранишь все в памяти? Пиши результаты в бд или файл. Или ты можешь отправить их на удаленный сервер асинхронно, который запишет в бд, всё зависит на сколько ты далеко хочешь зайти))

Comments

[Андрей Иванов]

Удаленный сервер точно отпадает)

А как реализовать это через бд??
Основы создание баз данных и работы с ними через sqlite3 я знаю, можно внедрять новые сведения

cursor.execute ('INSERT INTO dbase VALUES(?,?,?,?,?,?);', values)

, но как поступить если ключевое значение уже есть в базе данных и нужно обновить информацию в других столбцах соответствующих этому значению?

[devdb]

noremorse_ru,

if var_info in key_info:
заменить на else

Вообще убрать - это лишняя проверка, ведь после строки инициализации оно всегда будет в словаре в любом случае.

Андрей Иванов, изучи основы SQL или найди библиотеку, которая без SQL будет писать/искать/обновлять записи БД.