Python как быстро получить число элементов архива tar.gz?

Question

[HighMan]

Здравствуйте, коллеги!
Есть архив arcname.tar.gz весом в пару ГБ. В этом архиве огромное количество мелких файлов. Много тысяч.
Есть какой-то способ быстро получить число всех файлов в архиве, или хотя бы, число всех элементов, включая каталоги?

with tarfile.open('arc.tar.gz', 'r:gz') as tar:
    print(len(tar.getmembers())

Да этот метод работает. Возвращает общее число элементов архива. Можно пробежаться по по массиву и выловить информацию, например, только о файлах. Метод всем хорошь, но, блин, долго!
Вышеприведенный код отрабатывает секунд за 15 на i9 и сам файл архива находится на SSD.
Мне же нужно как можно быстрее получить число элементов.

Comments

[be52]

быстрее чем tar tf test.tgz | wc -l наверное не получится. в этом варианте чтение распаковка и перечисление файлов происходит одновременно на околомаксимальной скорости

Answer 1

[Сергей П]

Не получится из-за специфики устройства tar-файла. Пока весь не прочитаешь, не узнаешь сколько в нём каталогов. Это потоковый формат, а тут он ещё и сжат сверху gzip'ом.

Это как посчитать быстро сколько вещей в чемодане. Пока по одной не вытащишь и каждую не посчитаешь - не узнаешь.
У других архиваторов, например zip, есть индексная табличка. Это как бумажка с перечнем всех вещей в чемодане. Она лежит прямо под крышкой и её можно достать первой.

Придётся как-то обходить эту проблему. Например использовать другой формат архива, или еред архивацией делать отдельный файл с перечнем всех файлов, и его класть в архив первым. А может быть вам и не нужно на самом деле количество элементов в архиве,а того, что вы этим количеством хотите добиться можно достичь иначе.

Comments

[be52]

всего пару гигов весит. а комп - i9 с ссд. однозначно должен делать быстрее

у меня на 2гб архив 500т файлов tar tf test.tgz | wc -l в 2 раза быстрее отрабатывает. чем вариант на питоне

чисто навскидку самое долгое тут это прочитать 2гб. примерно 4 секунды для хорошего ссд

https://github.com/facebook/zstd тут можно посмотреть как быстро работает распаковка у zip. примерно 400мб в сек на i7-9700K CPU @ 4.9GHz

вобщем секунд за 5 должен управиться Ж)

[Сергей П]

be52, Ну так это ж не бинарноым кодом делается, а в питоне. Я, честно сказать, не залядывал в реализацию библиотеки, что там используется, питоновский код, или бинарный вызывается из библиотеки? Если птоновский. то не удивительно, что долго. Сделайте нужный вам подсчет консольной командой и вызывайте ее из питона, если так быстрее получится.