Как делать дам частями от отправлять на Amazon?

Question

[Anton B]

Всем привет!

Есть каталог с изображениями, размером 20Gb.
Сейчас dump каталога проходит так

/bin/tar -cf $DUMPFILES.tar $HOME/www // создать архив
/usr/bin/split -d -b 3G $DUMPFILES.tar $DUMPFILES.tar. // разбить архив на части по 3Гб
/bin/rm $DUMPFILES.tar // удалить исходный архив
/usr/bin/s3cmd -c /root/.s3cfg put $DUMPFILES.tar.* s3://backup/ // отправить архив на Амазон

Проблема в том, что для архива на диске требуется еще 20Gb, которых нет (SSD диск).
Есть ли простое решение, позволяющие создавать архив частями и эти части сразу отправлять на Амазон? То есть, набрал файлов из каталога на 3Гб, заархивировал, отправил на Амазон.

Спасибо за помощь!

Answer 1

[Алексей Черемисин]

Попробуйте потоком, без сохранения в файл! (минуй сразу за put означает сразу брать из потока)

/bin/tar -c $HOME/www | s3cmd -c /root/.s3cfg put - s3://backup/$DUMPFILES.tar

Можно и сжимать сразу

/bin/tar -cz $HOME/www | s3cmd -c /root/.s3cfg put - s3://backup/$DUMPFILES.tar.gz

Ну или вот такой моооосчной коммандой побить, отправить и удалить. (делаем пайп, его бьем на файло, файло отправляем и тут же удаляем, отправляем следующее файло, и снова удаляем)

/bin/tar -cz $HOME/www | /usr/bin/split -d -b 3G - $DUMPFILES.tar. --filter 's3cmd -c /root/.s3cfg put - s3://backup/$FILE'

Comments

[Anton B]

А как на части бить? Я сталкивался с проблемой при работе с большими файлами на амазон. Потому для удобства бью по 3Гб

[Алексей Черемисин]

Anton B: Обновил ответ. Пробуйте...

[Anton B]

Алексей Черемисин: крутая идея с filter!
Но, к сожалению, не работает.
Первая часть отдельно отрабатывает /bin/tar -cz $HOME/www | /usr/bin/split -d -b 3G - $DUMPFILES.tar., создает архивы. А вот после добавления --fliter сперва s3cmd выдает "ERROR: Parameter problem: Nothing to upload.", а потом rm "/bin/rm: cannot remove ‘PATH’: No such file or directory"

[Алексей Черемисин]

Anton B: Обновил! И проверил. В общем, при задании --filter, split открывает пайп на команду, а в переменной FILE передает имя файла.

[Anton B]

Алексей Черемисин: работает, супер! Спасибо за помощь!

[Anton B]

Алексей Черемисин: Алексей, добрый день. Подскажите, это строка из крона
5 5 * * * /var/www/site.ru/sh/dump.sh

это строка из dump.sh

/bin/tar -c $HOME/www | /usr/bin/split -d -b 3G - $DUMPFILES.tar. --filter '/usr/bin/s3cmd -c /root/.s3cfg put - s3://backup${FILE/$HOME\/dump}'

Если запускать файл руками, всё отрабатывает как надо. А если файл запускает крон, то весь файл отрабатывает, а эта строка нет. То есть дампы на amazon не приходят. В чём может быть дело? Спасибо.

[Алексей Черемисин]

Anton B: ну, строка из крона похоже не совсем правильная! Кажется еще пользователя нужно указывать...

[Anton B]

Алексей Черемисин: никогда не указываю пользователя.. попробовал указать пользователя, вообще не выполняется.
5 5 * * * root /var/www/site.ru/sh/dump.sh

[Anton B]

Алексей Черемисин: может быть проблема в том, что такая конструкция не может выполняться в background'е?