ka4a
@ka4a
sys adm

Почему не получается залить 130Gb бекап на S3?

Привет. Нужна помощь с проблемой заливки большого бекапа на S3 (aws). Проблема в том что отваливается с ошибкой Connection reset by peer . Как починить? Спасибо

Полный выхлоп

10001 0 5242880
10001 57344 5242880
10005 0 5242880
10005 57344 5242880
10002 0 5242880
10002 57344 5242880
10002 114688 5242880
10002 172032 5242880
10003 0 5242880
10003 57344 5242880
10003 0 5242880
10003 57344 5242880
10006 0 5242880
10006 57344 5242880
10003 0 5242880
10003 57344 5242880
10006 0 5242880
10006 57344 5242880
10006 0 5242880
10006 57344 5242880
Traceback (most recent call last):
  File "/usr/local/bin/s3upload", line 9, in <module>
    load_entry_point('s3upload==0.2.4', 'console_scripts', 's3upload')()
  File "/usr/local/lib/python2.7/dist-packages/s3upload.py", line 161, in cli
    progress_cb=cb, replace=True, threads=options.threads)
  File "/usr/local/lib/python2.7/dist-packages/s3upload.py", line 111, in upload
    waiter()
  File "/usr/local/lib/python2.7/dist-packages/s3upload.py", line 98, in waiter
    check_errors()
  File "/usr/local/lib/python2.7/dist-packages/s3upload.py", line 94, in check_errors
    raise exc
thread.error: <DummyProcess(Thread-3, started daemon 139716663592704)> error(104, 'Connection reset by peer')
ERROR: Failed to pack application data!


Команда которой выполняю архивацию и загрузку. (p.s. - есть архив 40гб, заливает нормально)

/bin/tar --exclude "imageupload/images" -cf - -C /var/www/blabla.com/www/ . | gzip| s3upload -K KEY -s secretkey -b archive -k test.tar.gz


Ubuntu 14 x64
  • Вопрос задан
  • 78 просмотров
Пригласить эксперта
Ответы на вопрос 1
Соединение обрываться может из-за кратковременных проблем с сетью. Стоит пробовать закачку с меньшими порциями и склеивать части в конце - так делают некоторые программы.
Размер порции может составлять 10-20 Мб.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы