Как организовать синхронизацию очень разных данных?

Question

[centur]

Что хочется:

Иметь автоматическую\полуавтоматическую синхронизацию файлов со следующими характеристиками:

• Синхронизация как автоматическая (через интернет) так и вручную (через флешку) \ полуавтоматически (через локалку).
  
• Копия части данных хранится в интернет сторадже ( бесплатное, хотя бы 3 гига), полная копия хранится на флешке (16 гигов).
  
• Синхронизируемые каталоги могут находится в произвольном месте (кроме вложенности друг в друга).
  
• Хорошая работа с каталогами содержащими проекты под SVN и Mercurial.
  
• 3-4 машины с разными возможностями синхронизации — машина с анлим интернетом, с дорогим интернетом (т.е. через флешку большие объемы предпочтительней), ноутбук который оказывается в одной сети с первой. В некоторых случаях — не все папки нужны на каждой машине.
  
• Достаточно только под Win
  
• Было бы идеально если можно было бы синхронизировать историю SVN и Hg
  
• Если где-то что-то ломается или неправильно обновляется — можно сделать откат с рабочей\бэкапной флешки, сказав принудительно — «при сравнении такого каталога — файлы на флешке приоритетнее.»
  

Что есть сейчас:

Синхронизация через 2 утилиты: LiveMesh и SyncToy


LiveMesh умеет — синхронизация через интернет хранилище (5 гигов) и через локалку\wifi (нет ограничений). Все более-менее автоматически.

Что делает плохо — конфликты убираются в корзину, вариаций не дается. Плохо отрабатывает по SVN (ломает репозиторий), HG +SVN даже страшно пробовать. Синхронизация только целиком, не диффы, т.е. траффик жрет сильно.


SyncToy: Ручная дрезина — все каталоги задаем руками, синхронизация запускается руками.

Что делает плохо — не самый продуманный алгоритм удаления — перед удалением каталога — удалит в индивидуальном порядке каждый файл в нем. Фильтры на игнор настраиваются по индивидуальному абсолютному пути и нет маски. Ломает SVN. Очень много файлов вызывают ступор или краш ( видимо или течет память или неоптимальное использование — забивается все)


Пробовал дропбокс — мало места в инете (бесплатного), хранилище только в одном каталоге (MyDropbox), не умеет по сети (из вкусностей — история как SVN).

Рассматривал вопрос c RSync, не понравилось что надо много всего писать вручную.


Есть сильные сомнения что все это будет хорошо работать с SVN\Hg при таком тупом синхронизировании.

Немного изучал вопрос mercurial<->Svn — консолька вместо автоматического гуя пока не устраивает и слишком много ручной работы для написания батчей ( может я не в курсе и уже есть нормальные решения ?).

Собственно вопрос:

Может кто посоветует полную или частичную замену данной схемы. или хотя бы нормальную работающую схему с синхронизацией snv\hg, без обилия ручной работы.

Готов даже делать отдельную синхронизацию файлов (тут SyncToy работает вполне нормально) и синхронизацию проектов (commit в 2 разные системы, копия в инете (bitbucket) на флешке) разнести.

Answer 1

[Алексей Варфоломеев]

1) для файлов я бы использовал rsync
2) для mercurial — сам mercurial. он работает и с svn-репозиториями через расширение hgsubversion (входит в состав, но не подключено по умолчанию

Comments

[centur]

Из того что я видел — это консольное приложение и все действия — командная строка. Хотелось простоты и гуя, как в синктое или дропбоксе — настроил и забыл, только успевай флешку вставлять да 1-2 кнопки нажимать.

PS да, с возрастом люди все ленивее и ленивее, просто нет уже смысла заниматься выпиливанием «своих» скриптов, когда 99% потребностей покрываются некоторым стандартным, а 1% — можно и отказаться, мы не гордые ;)

Answer 2

[rPman]

Слишком сумбурно описана задача, но что то похожее я давно пытаюсь реализовать в полном объеме для себя.
1. Если есть возможность четкого выделения централизованного хранилища, доступного всегда (точнее перед и сразу же после любых изменений на любых 'узлах'/местах/компьютеров), например флешка или сервер в сети, то достаточно использовать rsync или приложения на его основе (например rdiffbackup) — это наиболее эффективное по трафику средство синхронизации каталогов.
Так же можно воспользоваться более дубовыми средствами типа tar --incremental или diff/patch, если речь идет только о создании оффлайн патчей.
2. если четкого хранилища нет то готовых средств я не нашел, но почти всегда в частном случае задачу можно свести к первому варианту.

Вообще то что то монструозное и крутое я потихоньку разрабатываю в свободное время, возможно это будет комплекс средств сразу для нескольких платформ (pc/mobile), по крайней мере я устал ждать этого от dropbox и аналогов.

Comments

[rPman]

Кстати, еще интересный вариант использовать git с опцией --git-dir (чтобы не возникало конфликтов с синхронизируемыми репозитариями того же git).

Но в любом случае где то необходимо хранить актуальную версию дерева версий файлов (или мест), чтобы знать где находится самая последняя версия и кого с кем необходимо синхронизировать, обычно все это хранится в голове и контролируется вручную.

[centur]

Интересно, а что именно и для какой платформы (dropbox, livesync FW или homebrew) вы разрабатываете?

По пунктам:
1. Скорее нет, т.к. разные машины могут являться первоисточниками разной информации и периодически меняться ролями. Synctoy да и LiveMesh с этим справляются — не вижу смысла редуцироваться до центрального репозитория (это не очень удобно), да еще делать его всегда доступным (Сети разные, флешка — не может быть центральным т.к. надо как с нее забирать изменения так и на нее заливать автоматически)
2. Можно конечно, но с таким же успехом я могу делать вручную все. Пока есть желание решить задачу в текущей постановке. Далее — посмотрим.

По поводу git — я выбрал mercurial и думаю на нем остаться. Сейчас изучаю вариант отказа от SVN и работы с ним через hgsubversion. За ключик спасибо — посмотрю что это такое и может быть есть аналоги у hg.

PS: а что именно в описании непонятно и сумбурно?

Answer 3

[Aleks]

Dropbox умеет по локалке, есть даже такая опция в настройках. И стоит достаточно дешево.

Comments

[centur]

Когда я его пробовал ( после новостей о закрытии Live Mesh и перевода на Live Sync) — он не умел синхронизировать ничего кроме папки MyDropbox.
Умеет ли он это сейчас самостоятельно, а не через ntfs-junction (не хочется на каждой машине возиться)?

А по локалке какие объемы? Просто я использую меш для заливки фильмов с десктопа на ноут — там гигабайты льются. И если при наличии интернета он будет гнать их на онлайн хранилище — нафик нафик.

Просто я тут заметил в плагинах дропбокса один интересный — OneSync 3 (http://code.google.com/p/onesync/) — с его помощью можно интересные схемы организовать (синхронизация через флешку — есть, это важное).

Остается вопрос — что и как умеет свежая версия дропбокса (features у них на сайте — скудновато описаны)?

PS: 10 баксов не так и дорого ЕСЛИ он покроет все (или 99%) мои сценарии.