Как в Linux заархивировать огромное количество папок по месяцам?

Question

[Sevastoporn]

Есть более 500 000 директорий, которые нужно заархивировать каждый месяц в отдельный архив.
Название директорий никак не связана с датой, поэтому отсортировать файлы можно только по дате создания.
Как я понял, fing'ом такое вряд ли отсортируешь.
Какой механизм сортировки лучше использовать, чтобы потом передавать вывод на архивирование?

Comments

[сергей кузьмин]

задачу попонятней опишите с примером что на входе что на выходе

[Sevastoporn]

сергей кузьмин, на входе директории с PDF внутри. Эти 500 000 директорий размазаны на временном промежутке с 2017 года и по сей день, а архивировать tar'ом.
Какая ещё инфа нужна?

[сергей кузьмин]

Sevastoporn, про пятьсот тысяч на входе вы уже упоминали но этого недостаточно покажите пример как распределено но директориям
неясно что хочется на выходе - в особенности как сгруппированы архивы - если есть 100 директорий и 50 разных дней сколько будет архивов 100 50 или 5000

Answer 1

[pfg21]

если тебе инкрементальный/дополняющий бекап то бери бекапер.

find тебе может выдать список файлов не старее одного месяца. его и скармливаешь архиватору. получаешь пакет новых/измененных файлов за прошедщий месяц.
или тебе что другое надо ??

Comments

[Sevastoporn]

а, только там файлы вплоть до 2017 года, а твоим методом все что старше месяца засунет я в один архив.

[pfg21]

find /target_directory -type f -mtime -30
выдаст список файлов, которые редактировались в последние 30 дней.
find /target_directory -type -f -mtime +30 -mtime -60
выдаст список файлов, которые редактировались от 30 дней до 60 дней назад.
find /target_directory -type f -newermt "1 Aug 2016" \! -newermt "1 Sep 2016"
выдаст файлики редактированные в указанном диапазоне дат.
и т.д. и т.п. find вообще много чего может.
конкретизируй задачу.
и гугли - куча людей сталкивались с подобными задачами.

[AUser0]

pfg21, У него директория А, сделанная 2 года назад, и директория Б, 4 месяца назад.
И ему нужно отдельно архив с директорией А, и отдельно архив с директорией Б.

P.S. И вот find -newermt... ему подойдёт.

[pfg21]

т.е. надо по дате изменения каталога в корне раскидать по архивам или что ??
добавить -maxdepth 0 и поменять на -type d и глубже корня поиск не пойдет.

каков вопрос (мутный и слабоописанный) таков и ответ (не то что автору нужно).

Answer 2

[Germanjon]

Почему это find-ом не отсортируешь? Просто, в два этапа пробежаться: записать все файлы (точнее пути к ним и имя) в отдельный txt-шник или SQL. На втором этапе загнать все нужные файлы в архив.

А вообще, согласен с сергей кузьмин , лучше расписать задачу поподробнее

Answer 3

[mayton2019]

В задании есть какое-то противоречие. Внутри одной папки могут лежать файлы по разным месяцам. Что делать в таком случае - непонятно. Вобщем автору надо детализировать задание чтоб отвечающие могли понять что на самом деле надо. Что должно быть на выходе.

Answer 4

[Saboteur]

Пробежись по папкам, беря их дату изменения и на базе этой даты кидай папку в архив

что-то типа

find /home -maxdepth 1 -mindepth 1 -type d -exec myscript.sh  {} \;

myscript.sh:
zip -m $(stat -c %y $1|cut -d " " -f 1) $1

p.s. на запуск не проверял, потестируй перед тем как запускать на продакшн