Как в rclone сделать двухстороннюю синхронизацию?

Question

[accountnujen]

Я создал конфиг для Яндекс Диска и запустил демон:

rclone mount yadisk:/reserve /var/www/website/public/test/reserve --umask 000 --allow-non-empty --allow-other --dir-cache-time 12h --buffer-size 64M --vfs-cache-mode full --vfs-read-chunk-size 40M --vfs-read-chunk-size-limit 512M --uid 1000 --vfs-cache-max-age 24h --vfs-cache-max-size 4G --log-level INFO --log-file /home/ubuntu/yadisk.log --daemon

Но синхронизация работает однобоко:
Если на сервере создать папку или копировать файл, то в Яндекс Диске появится эта папка или файл
Но если в Яндекс Диске создать папку, то её не будет видно на сервере
-bash: cd: 555: No such file or directory

Тоже самое касается и Mail Облака.

Подскажите, как сделать, чтобы синхронизация в обе стороны работала?

Comments

[сергей кузьмин]

https://rclone.org/docs/
rclone sync - Make source and dest identical, modifying destination only.
rclone bisync - Bidirectional synchronization between two paths.

если помогло - я положу в ответы вы отметите решением

[accountnujen]

сергей кузьмин,
ничего не делает

rclone sync maildisk:/ /var/www/website/public/test/mail

делает на облаке так, как на сервере

rclone sync /var/www/website/public/test/mail maildisk:/

Я вообще думал, что с файлами можно работать как в Windows: создаётся папка и ты с ней можешь работать в двухстороннем режиме... А тут вон как оказывается неудобно.

[pfg21]

accountnujen, bisync !! :)

это синхронизатор, а не локальное монтирование удаленного хранилища данных, ты уж определись "что тебе надобно старче" :)

[Drno]

accountnujen, потому что rclone придназначен для синхронизации файлов(бэкапов в 1 сторону обычно) А не то, чего Вы хотите

Но как правильно указали Выше - есть опция bisync, когда он делает синхронизацию в обе стороны
https://rclone.org/bisync/

Вы монтируете дирректорию и потом пытаетесь с ней работать. Уберите "mount" и вместо этого используйте параметр bisync, прочитайте ссылку
Основная строка должна выглядеть примерно вот так...

rclone bisync yadisk:/reserve /var/www/website/public/test/reserve (незнаю можно ли тут режим демона указать)
(АККУРАТНО, ОН ОТСИНХРОНИТ ПАПКИ)

[accountnujen]

Drno, pfg21,

bisync !! :)

2022/05/12 09:58:21 Fatal error: unknown command "bisync" for "rclone"

[pfg21]

accountnujen, дык, обновись :) старый рклоун не знает такой команды.

появилось судя по логу

v1.58.0 - 2022-03-18
New commands
bisync - experimental bidirectional cloud sync (Ivan Andreev, Chris Nelson)

и отмечена как экспериментальная.

еще спробуй вариант двух синхов - сначала в одну сторону, потом в другую,

[Drno]

pfg21, не... так не прокатит, в 2 стороны... тогда надо делать "copy" , а то он же засинхронит в первую стороны всё.. )

[pfg21]

Drno, да, оплошал. вместо синхов надо copy
еще и с --update и бекапом изменяемого :)

[accountnujen]

pfg21, Drno,
так, подождите: создать папку и нормально с ней работать не перемонтируя её постоянно - невозможно?

bisync - это разовая команда, как и sync. Мне её постоянно долбать нужно? Само не работает?

[pfg21]

accountnujen, ТАК ТЫ ПРО МОНТИРОВАНИЕ ИЛИ ПРО СИНХРОНИЗАЦИЮ ??
ты уж определись "чего хочешь старче" прежде чем вопросы задавать.
и оригинальный вопрос напиши правильно, иначе так и будешь получать "неправильные" ответы...

[accountnujen]

pfg21, я про то, чтобы оно само, как в винде, работало.
Запустил,
закачал на компе - в облаке есть,
закачал на облаке - на компе появилось.
Вот что такое синхронизация для меня

[pfg21]

так и напиши, не используя вумных слов :)

[Drno]

accountnujen,
Кстати - а к какому яндексу Вы цепляете? который обычный ЯндексДрайв?)))
Так я тут вспомнил, что оно не будет работать... )
Яндекс давно ввел ограничения и нормально работает только со своей фирменной программой.
Для всех остальных - ограничения дикие, в том числе на синхрон - ограничение скорости 50kb\s и ограничение на размер файла... Может дело в этом? Оно просто неуспевает выгрузиться\загрузиться?
Собственно пришлось переносить все вторичные бэкапы на майл...

ради интереса я проверил подключив личное облако
rclone mount testmount: /root/1tetest --vfs-cache-mode full

Всё чудно работает в обе стороны, в реальном времени(ну понятно что требуется время чтоб файл передать)

bisync - это разовая команда, как и sync. Мне её постоянно долбать нужно? Само не работает?

Ну поставьте её в крон раз в минуту...

[accountnujen]

Drno,

ради интереса я проверил подключив личное облако
rclone mount testmount: /root/1tetest --vfs-cache-mode full

Всё чудно работает в обе стороны, в реальном времени(ну понятно что требуется время чтоб файл передать)

Вот у меня чудно работает в самом начале. Секунд 30. А затем я отправляю картинку (2 часа назад) размером 200кб и она до сих пор не винда из sftp. Если в ручную выполнить sync, то вылетают вот такие ошибки:

2022/05/12 14:06:33 ERROR : bot2.png: Couldn't delete: remove /var/www/website/public/test/reserve/bot2.png: input/output error
2022/05/12 14:06:33 ERROR : Local file system at /var/www/website/public/test/reserve: not deleting directories as there were IO errors
2022/05/12 14:06:33 ERROR : Attempt 1/3 failed with 3 errors and: failed to delete 1 files
2022/05/12 14:06:34 ERROR : bot2.png: Couldn't delete: remove /var/www/website/public/test/reserve/bot2.png: input/output error
2022/05/12 14:06:34 ERROR : Local file system at /var/www/website/public/test/reserve: not deleting directories as there were IO errors
2022/05/12 14:06:34 ERROR : Attempt 2/3 failed with 3 errors and: failed to delete 1 files
2022/05/12 14:06:36 ERROR : bot2.png: Couldn't delete: remove /var/www/website/public/test/reserve/bot2.png: input/output error
2022/05/12 14:06:36 ERROR : Local file system at /var/www/website/public/test/reserve: not deleting directories as there were IO errors
2022/05/12 14:06:36 ERROR : Attempt 3/3 failed with 3 errors and: failed to delete 1 files
2022/05/12 14:06:36 Failed to sync with 3 errors: last error was: failed to delete 1 files

вот что это значит?

[Drno]

accountnujen, вот не уверен, но сделайте проверку с облаком от Майл ру...
там вроде 10гб бесплатно даются...
Потому что у меня с личным некстклауд уже минут 40 - всё ок и работает)

[accountnujen]

Drno,

вот не уверен, но сделайте проверку с облаком от Майл ру...

Потому что у меня с личным некстклауд уже минут 40 - всё ок и работает)

давайте ещё раз: вы грузите с компа на яндекс диск, открываете файловый менеджер в нексклауд и файл там есть?

[accountnujen]

Drno, вот 40 минут назад загрузил картинку 123.jpg через облако. До сих пор файла нет. Я даже добавил ключ --poll-interval 15s

[Drno]

accountnujen, я не проверял это с яндексом. я проверял это со своим сервером nextcloud.
Проверял я rclone mount - папка замонтировалась, и при копировании в неё файла - он появляется на сервере. так же он появляется на ПК, если скопировать файл на сервер

[Drno]

accountnujen, мне кажется дело в ограничениях яндекса. почему и предлагаю проверить с другим облаком... например с Майл)
потому что с яндексом у меня нормально даже команда rclone sync\copy не работает

[accountnujen]

Drno, так я же скрин показал, что я с облаком уже тестировал. В самом вопросе это указано

[accountnujen]

Drno,

Яндекс давно ввел ограничения и нормально работает только со своей фирменной программой.

которая не работает на arm, поэтому приходится кочевряжиться с rclone

[Drno]

accountnujen, которая никому кроме виндузятников не уперлась, ибо функционал минимален))
а rclone рулит)

[Максим Ярошевич]

Rclone отлично работает с Яндекс диском, но он скорее для того, чтобы забрать данные локально и сохранить на сервер - у меня так резервное копирование настроено. Яндекс, чтобы не было скучно, ещё и WebDAV отключил уже давно у себя.