Каким образом можно архивировать и удалять?

Question

[Dima Kim]

Добрый день, имеется 50,000 файлов по ~2МБ
каким образом можно создать архив и сразу удалять, т.е. положил в архив и тут же удалил файл, перешел на второй файл итд.
сейчас делаю так:
find . -mmin -3600 -type f | xargs tar -acvf bkp.tar.gz
find . -mmin -3600 -type f -delete

Comments

[abcd0x00]

Это, кстати, алгоритмически неправильно. Если архив будет сжиматься на протяжении десяти минут, то удалятся уже не те же самые файлы. Так что тут всё должно быть переписано.

Судя по логике, тебе нужно переместить найденные файлы в отдельный каталог, а потом этот каталог заархивировать одной командой и после успешной архивации удалить его (хотя можно и проверить всё ещё).

Answer 1

[Александр Вульф]

Я бы на вашем месте так не делал. Случись чего и останетесь с битым архивом и без половины файлов.

Comments

[Dima Kim]

ок, понятно

[redakoc]

Dima Kim: можно добавить третью строчку (в середку) - проверка архива на целостность. а еще многие архиваторы сами умеют удалять по окончании процесса создания архива. за tar не скажу.

[Dima Kim]

redakoc: это как? чет не догоняю

[redakoc]

Dima Kim:
Вариант 1:

В некоторых архиваторах есть такой ключик командной строки - после успешной архивации удалять все файлы, добавленные в архив.
А у некоторых есть ключик - проверять целостность архива после архивации.
Если добавить эти 2 ключика, то, возможно, вас все устроит.
Если нет такой возможности в tar или оно удаляет раньше, чем проверит целостность архива, то тогда скриптом.

Вариант 2:
Заархивировать.
Проверить целостность архива (эта такая иммитация разархивации, алгоритм полностью распаковывает файл, только никуда не записывает).
Если целостность не нарушена, то удалить файлы.

[Dima Kim]

redakoc: ок tar -tvzf bkp.tar.gz > /dev/null так получается

[redakoc]

Dima Kim: А почему не ключ -W

[Dima Kim]

redakoc: спасибо за W

Answer 2

[ky0]

Делать несколько tar-контейнеров (скажем, по тысяче файлов в каждом) с удалением помещённых в них файлов, а потом контейнеры жать gzip-ом?