Есть датафрейм, допустим на 1 млн строк, нужно сохранить результат в один zip архив, содержащий 100 csv файлов, в каждом по 10к строк. Реализовал с pandas такую функцию, которая делит датафрейм на эти файлы, но архивирует каждый отдельно
def result_writer(data):
chunk_size = 10000 #по сколько строк делить файл
counter = 0
for chunk in pd.read_csv(data, chunksize=chunk_size):
counter = counter + 1
chunk.to_csv(f'file_{str(counter)}.csv.gz',compression='gzip',index=False)
Как подправить, чтобы у меня получился один zip архив, а не сто?