Как быстро и компактно хранить большого объема dict или tensorflow.keras.utils.Sequence в Python?
Каким образом лучше всего формировать и хранить sequence для последующей обработки в tensorflow?
Сейчас для для быстрой прототипизации каждая последовательность храниться в dict вида {'X': [], 'Y':[]}, которые при помощи pickle сохраняются в отдельную папку. Что позволяет элементарно формировать batch для/в Sequence, т.е. с диска читаются только необходимые файлы и это не перегружает память и позволят достаточно точно следить за ее эффективным использованием.
НО недостаток такого подхода, что в папке лежит около 72 000 000 (а в будущем гораздо больше) файлов, и это не здорово. И я уверен, что есть более правильные и быстрые способы сохранить все ЭТО.
