Ubuntu zip 1M файлов?

Question

[SoloMidPlzD]

Не могу зипнуть папку с 1миллионом файлов (текстовие файли 50-150кб) на убунте через командную строку

zip -r compressed_filename.zip foldername

крутит и через несколько мин пишет Kill, оставля ~400mb файл с рандомним названиям и без расширения

Comments

[sazhyk]

Это конечно офтоп, но хранить в одной папке мильён файлов на. Linux'e не есть хорошо. На тостере это уже не раз обсуждалось. На просторах инета статей об этом пруд-пруди. Отказались бы вы от такой практики.

Answer 1

[SoloMidPlzD]

Вообщем всем спасибо. вот что получилось:

пробивал fs.file-max = 1000000, потом sudo sysctl -p. Вроде ефекта не дало. Наверно потому что на впс только 500мб оперативки

через 7zip архивируя в zip оборвалось чуть позже
через 7zip архивируя в 7z написало Couldn't allocate memory
через 7zip архивируя в tar почти все закинуло (93%)

Немного погуглил и нашел как перекинуть часть файлов по другим папкам. Создал 10 папок по 100к в каждую скинул используя

find . -maxdepth 1 -type f |head -100000|xargs mv -t %TARGET_DIRNAME%

и каждую папку сделал архивом

Answer 2

[Saboteur]

tar + gzip вместо zip

Comments

[zooks]

И на тома разбить. Еще можно Rar попробовать.

[Saboteur]

ну там должен получиться файл примерно в 80-100 гбайт, думаю что стоит на файловую систему обратить внимание, потянет ли. Так что да, рар и разделение на тома может иметь смысл

[Назар Мокринский]

Зачем проприетарный RAR, если есть тот же 7z?

[Saboteur]

зачем 7z если есть rar?
в rar есть фичи, которых нет в 7z
рар появился гораздо раньше, и собрал свою коллекцию его давних поклонников. А стоит он сущие копейки.

Answer 3

[Вадим Яковлев]

Попробуйте увеличить число максимально открытых файлов (/etc/sysctl.conf и прописываем в него такую строчку
fs.file-max = 1000000, потом sudo sysctl -p). Или воспользуйтесь другим архиватором: tar.gz или 7zip (устанавливается отдельно из репозиториев)

Answer 4

[Юрий Чудновский]

Я бы попробовал p7zip