Как создать распределенную систему хранения файлов?

Question

[Danil9500]

Подумал о сервисе, подобные которым вроде не встречал. В чем суть: Сервис работает по принципу облачного хранилища, но все данные кусками хранятся на жестких дисках других пользователей сервиса. Куски должны быть настолько мелкими, чтобы владелец жесткого диска не мог понять, что за информацию хранит.
Можно выделять N гигабайт в облаке за N гигабайт на своем харде или за плату.
По-моему, идеальный сервис для хранения конфиденциальных данных. Что думаете по этому поводу?

Comments

[deleted-rss1alex]

Это не сервис. На чужой компьютер такие программы устанавливает только злоумышленник.

Answer 1

[Michael Danilov]

Не взлетит. Всё упирается в людей и безопасность.
Есть ненулевая вероятность, что все узлы сети будут оффлайн, поэтому если вы подключите своё новое устройство, то не получите никаких своих данных. Нужен как минимум сервер (или группа серверов) для отказоустойчивости. Если же этого не будет, то каждый кусок данных надо хранить на всех узлах сети, чтобы добиться максимальной доступности данных. Если каждый человек будет хранить 1 ГБ, а всего человек будет 100, то каждом надо хранить по 100 ГБ. 99 за 1 - как-то дороговато.
Безопасность: сейчас с обычными облачными хранилищами я понимаю, что точка ухода моих данных во вне - это либо я, либо сервис. С вашей же парадигмой - это несколько или все узлы системы, даже с криптованием страшновато отдавать данные непонятно кому.
Пирингом идеально отдавать данные, которые нужны всем в данную минуту: популярные фильмы, музыка или программы, но никак не нужное одному или двум.

Comments

[Danil9500]

а можно, например, считать хеши файлов и , те же фильмы, хранить не отдельно для каждого пользователя, а лишь один файл и несколько резервных копий.
Такой себе торрент получится.

[Michael Danilov]

Да не о фильмах речь. Фильмы я привёл как пример того, где это будет работать и уже работает в виде торрента. Переизобретать его бессмысленно. Сделать его более удобным и человечным - это да, но это уже совсем другая тема.

[sim3x]

@MonkAlbino у wuala почти получилось

[deleted-rss1alex]

Я написал в другом ответе более подробно.

Answer 2

[Trow_eu]

1. зачем? хоть одно преимущество, не понял где оно идеально.
2. как в перспективе? у кого-то комп выключен / инета нет / просто удалил куски - данные недоступны / утеряны?

Answer 3

[Danil9500]

1. Никакие спецслужбы не доберутся
2. Можно наиболее часто используемые файлы хранить на каких-нибудь более близких/быстрых/доступных серверах. Несомненно, придется делать бекапы. Например, 1 хранитель умер, копируем со второго третьему, чтобы файлы не терялись.

Answer 4

[Павел Соловьёв]

вы хотите хранить данные на жётских дисках других пользователей? лол

Comments

[Danil9500]

туда сложнее всего добраться

[Павел Соловьёв]

человек взял и удалил ваши данные, всё их нет, как и откуда вы узнаете когда делать бекап? Это же конфиденцивльные данные, а вдруг кто расшифрует ваши пароли?

[Павел Соловьёв]

и почему туда сложнее добраться?

[Danil9500]

Бекапы обязательно должны присутствовать, со смертью одного источника, надо копировать информацию в другой, чтобы всегда было больше одного источника.
файл хранится у кучи разных людей, получив один кусок, невозможно собрать файл полностью, все это еще я писал в самой теме.

[Павел Соловьёв]

ну если они одновременно удалят данные? как вы определите что даныне вообще удалены? пользователь может вручную их снести.

[Danil9500]

Можно, допустим проверять при попытке доступа или, для не активных, спустя какой-то промежуток времени, месяц например.

[Павел Соловьёв]

ну а если у тех людей предположим будут выключены компы, а у остальных данные буду тудалены, то как в тамком случае быть? не ждать же пока кто-то включит комп, чтобы получить свои данные.

[Danil9500]

еще не все нюансы продуманы, пока идея лишь в зачаточном состоянии, может система действительно будет нежизнеспособна, кто знает.

Answer 5

[Александр]

Ваша мысль мне знакома. Думал о таком сервисе. Правда знаний программиста нет, а вот админские знания + место хранения есть.
Сможете ли вы быть программистом или есть ли такой/такие программисты, которые смогут реализовать такое?

Comments

[Danil9500]

Я пока всего лишь студент, такой уровень за гранью моих нынешних возможностей. Я считаю, тут должна работать достаточно большая и сильная команда, чтобы осуществить проект, но на примете таких нет, увы.

[Александр]

У студентов всегда много энтузиазма и блеска в глазах, не то что у стариков )) если сможете что-нить придумать с программистом, то я помогу остальным. контакты есть в информации.

[Danil9500]

Благодарю за предложение,если что-нибудь появится на примете, обязательно обращусь.

Answer 6

[deleted-rss1alex]

Можете для саморазвития поискать "подмена обновения дебагг от Microsoft Windows" неправильное обновление делает хранилище с скрытым трафиком. Баггов нет, измененных символов не встретил. Ошибок не возникало. Обновление постоянно докачивает что-то. При достижении 50 Гб просто удалил. После этого ошибок не возникло и мне перестали приходить "сжатые данные" от посредника трафика (злоумышленника). Недавно понял, как это работает и реализовать не знаю как. Это шифрованный трафик. Некоторый повторяющийся код записывается одним символом, т. е. одной буквой. Набор символов у пользователя "возможно не представляет опасности для самого пользователя" и направлен далее, в следующую сеть. Код перестал докачиваться после удаления. Обновление осталось и я просто переустановил ОС. ВЕСЬ КОД, КОТОРЫЙ СЖАТ, РАСПОЛОЖЕН НА ДРУГОМ КОМПЬЮТЕРЕ. Этот способ мне понадобится внутри собственой сети с использованием api. На большинстве ПК api должен быть заблокирован.