Как организовать хранение версионных данных?

Question

[sigod]

Нужно организовать сервис, очень схожий с VCS. Нужно иметь возможность коммитить файлы, получать контент оных, списки файлов/директорий, создавать «ветки» (только создавать, слияние — не нужно) и так далее. Все это для множества пользователей.

Данные будут как текстовыми (XML) так и бинарными (InDesign файлы). 100-200 Гб вполне может набраться.

Поверх всего этого будет веб-интерфейс.

Масштабирование вопросом не стоит, одного сервера будет достаточно.

Как лучше организовать подобное хранилище? Основать поверх какой-либо технологии? Базы данных? Или же стоит писать свое решение?

Answer 1

[Александр Шурыгин]

Реально проще наверное завернуть это в локальное git хранилище и использовать его как прослойку да и все :-)

Зачем вам писать велосипед в этой ситуации? гит работает очень быстро, написан достаточно оптимально в плане хранилища данных конечного.

Я бы выбрал просто api level + web access над любым удовлетворяющим версионным хранилищем

Comments

[sigod]

@duderu
Про git я подумал в первую очередь. Но нам не нужно его локальное хранилище, у нас ведь много пользователей и каждый из них должен иметь возможность коммитить в нужные ему ветки. Не делать же для каждой ветки локальную копию и не делать же постоянно checkout.

В самом git нам бы очень подошли его внутренности — content-addressable filesystem поверх которой он написан. Но для этого нужно написать обертку, которая бы работала с его plumbing командами. А там не все так хорошо. Например, commit-tree информацию о авторе берет из переменных окружения.

Поэтому мы пока отложили вариант с git.

[Александр Шурыгин]

@sigod ну тогда все в ваших руках я считаю :-))

либо на уровне базы реализуете версионность, либо на уровне гит распотрошите его :-)

[sigod]

@duderu
А какую базу имеете ввиду? Сейчас заканчиваем временное решение — надстройку над MSSQL, но оно уже работает не очень приятно.

[Александр Шурыгин]

@sigod любую удобную :-)

чтобы не тормозило ... ну кеширование, прослойки, преподготовленные данные, как всегда в общем.

что у вас за решение которые вы пытаетесь "накатить", я не знаю, не могу дальше рассуждать :-)

Answer 2

[cigan]

Я бы однозначно использовал файловую систему как хранилище файлов и СУБД для хранения версий, веток и т.п. Т.к. учавствуют большие бинарные файлы, использовать любые VCS я б не стал - они ориентированы на текст.