zpaq это дедупликатор и архиватор в одном флаконе. Умеет как дедупликацию так и сжатие.
У него есть очень полезная штука для организации бэкапов - файл индексов.
Т.е вы можете сделать первый бэкап, залить его в облако, а локально оставить только индекс.
В результате вам не нужно хранить весь бэкап локально, можно частями сливать в облако и удалять локальные бэкапы. Для работы нужен только небольшой индексный файл, где хранятся хэши всех блоков в архиве
Думаю все проблемы из-за того что бэкап идет сразу в облако
Ну и такой момент - я не знаю как rclone работает. Что будет если вы переместите 10 файлов общим размером 30мегабайт из одной папки в другую? Он 30мегабайт в архив загонит, или нет?
А вы уверены что облачное хранилище куда вы грузите в принципе способен принимать файлы с большей скоростью?
Попробуйте zpaq. На файлах такого размера вполне неплохо себя показывает.
У вас там дубли в коллекции есть?
Обычно гораздо быстрее сделать бэкап на локальный диск, а потом залить его в облако.
А так - он у вас будет мелкими порциями в облако закидывать, скорость просядет.
Да никак.
Во первых контейнеров с такими характеристиками не существует.
Контейнеры тут ничем не помогут.
С файлами без контейнеров работать проще и быстрее.
Чем бэкапите?
если есть 2 разных файла, даже если они называются/выглядят одинаково (скажем ./qwe/rty.zip и ./rty.zip), и имеют одинаковые размеры и хэши, то тут проблемы нет