Как в Python работать с zip архивом в памяти, не используя диск?

Question

[Alex Xmel]

Раз в минуту получаю по http zip архив. Открываю его, там 8 текстовых файлов, записываю их на диск и далее с ними работаю.

Использую вот такой код:

responce = requests.get(url)
if responce.status_code == 200:
    zf = zipfile.ZipFile(io.BytesIO(responce.content))
    zf.extractall(DIR_NAME)
    return True

Всё работает отлично, но что-то вот задумался: А зачем я разархивирую этот зип и пишу полученные файлы на диск? Сами файлы мне не нужны, а нужна только некоторая информация из них. Соответственно как мне разархивировать этот зип в памяти так чтобы я получил все эти 8 текстовых файлов тоже сразу в памяти и мог сдесь же в памяти с ними работать ?

Comments

[Viktor T2]

https://stackoverflow.com/questions/2463770/python...

[d'Ivan]

А целесообразно ли держать объем распакованных файлов в памяти?

[Alex Xmel]

Роман Мирр, да, целесообразно. Это данные которые постоянно обновляются и писать их на диск вообщем то смысла нету. Далее я просто выдерну из всего объёма то что нужно мне, кину это в redis и всё. Данные доступны, обращение к ним моментальное и через минуту весь цикл заново.

[d'Ivan]

Desead, в том, что в памяти работа гораздо быстрее, спору нет. Вопрос больше об объеме данных в памяти. Если он мал, то, конечно, им можно пренебречь.

[Alex Xmel]

Роман Мирр, объём всех данных примерно 12Мб, но учитывая что надо проводить много разных расчётов, то даже если был бы 12Гб, всё равно лучше было бы в памяти. Хотя если объём был бы 12Гб то писать это раз в минуту на диск вообще было бы глупо. Просто именно из-за небольшого объёма как то раньше особо не парился, а сейчас наконец-то дошли руки и до этой мини-проблемы.

Answer 1

[Сергей Горностаев]

content = {name: zf.read(name) for name in zf.namelist()}

Answer 2

[Alex Xmel]

Всё оказалось проще чем думал. Сделал так: (на самом деле тоже самое как и подсказали выше):

files = {}
responce = requests.get(url)

with zipfile.ZipFile(io.BytesIO(responce.content), 'r') as zf:
    file_name = zf.namelist()
    for i in file_name:
        files[i] = []
        with zf.open(i) as f:
            for j in f.readlines():
                files[i].append(j.rstrip().decode('cp1251'))

в итоге получил словарик с полным содержимым каждого файла.