Возможно ли виртуальное или какое другое объединение всех жестких дисков в один большой?

Question

[Иван Филатов]

Возникла необходимость сохранять большие файлы, не задумываясь о том что на диске не может быть свободного места и что надо выбирать другой диск. Разбивать большой набор файлов и сохранять часть на один диск, часть на другой - тоже не вариант.

Чего хочется:
- 1 винт SSD - ОС (Windows, Linux, OSX, что угодно) - NTFS или другая какая файловая система. Его не трогаем.
- N обычных винтов (1-2 TB, WD) - виртуально в системе выглядит как один большой диск 'E', размером равным сумме всех винтов. При этом я сохраняю все туда и не задумываюсь о том что, файл может физически быть на нескольких винтах.

Такое вообще возможно? Какая ОС такое умеет? Может особая файловая система? RAID тут в тему или нет?
Может какие есть программы, поверх ОС, для виртуализации файлового пространства ?

Буду рад любой помощи!

Answer 1

[Андрей Бируля]

Кроме предложенных вариантов выше, если речь о win8, то есть ещё совсем домохозяйский через Панель управления\Система и безопасность\Дисковые пространства

Answer 2

[АртемЪ]

Возможно ли виртуальное или какое другое объединение всех жестких дисков в один большой?

Да.

Какая ОС такое умеет?

Windows, Linux

Может особая файловая система?

Нет.

RAID тут в тему или нет?

Частично. т.е можно реализовать совместно с RAID, можно реализовать некоторые фишки RAID без построения классического RAID.

В Linux эта технология называется LVM
В Windows эта технология назыается Storage Spases.

Comments

[Иван Филатов]

При потере одного винта я согласен терять данные этого винта, но не хочется терять данные всех винтов вместе взятых. При RAID0 потеря идет всего массива. Верно?

в Storage Spases можно ли иметь разные объемы жестких дисков?

Storage Spases это реализация JBOD ? или нет?

[АртемЪ]

При потере одного винта я согласен терять данные этого винта, но не хочется терять данные всех винтов вместе взятых. При RAID0 потеря идет всего массива. Верно?

Я разве где-то говорил про нулевой рейд? Вы о чем вообще?

в Storage Spases можно ли иметь разные объемы жестких дисков?

Да.

Storage Spases это реализация JBOD ? или нет?

Нет.Но используя эту технологию можно реализовать и JBOD при желании.

Answer 3

[athacker]

Если винты разного размера, то RAID тут не поможет, оно не умеет работать на дисках разного размера. Только что-нибудь в духе, как винда это называется, "составной том". Она собирает диски в кучку один за другим в один общий логический том. Это точно есть на 2012 сервере, насчёт Win8 не знаю, не пробовал.

Аналогично можно сделать на FreeBSD -- либо через модуль geom concat (gconcat), на нём можно любую файловую систему запиливать. Либо составной том ZFS.

Думаю, линуксовый LVM тоже такое должен уметь.

Про надёжность такой конструкции, понятно дело, говорить не стоит.

Comments

[АртемЪ]

А что не так с надежностью?

[athacker]

Почти то же самое, что и при выпадении одного винта из RAID0 -- в общем случае можно потерять вообще все данные.

Answer 4

[bobrovskyserg]

lvm

Answer 5

[Ivan Arxont]

RAID0. Почти любая операционная система умеет программный.

Answer 6

[Андрей]

Зависит от требований.

Если необходим быстрый доступ, но можно пожертвовать отказоустойчивостью - нужен RAID 0: он одновременно пишет на все диски разные блоки, тем самым увеличивая скорость чтения/записи пропорционально количеству дисков, но если один диск накрывается, то всю информацию восстановить уже невозможно. Для отказоустойчивости можете подумать в сторону RAID 5, например.

Если же нужно просто пачку дисков объединить в один большой, и вполне можно наплевать на высокую скорость записи, например, для хранения каких-нибудь бэкапов, то рекомендую JBOD - если вылетит один диск, то на остальных данные так и будут лежать линейно, и потеряется только часть файлов вместо всего объема информации.

Насчет поддержки Windows-ом точно не помню, но любой линух умеет этот тип "рейда" из коробки

Answer 7

[Глеб Богданов]

Специально для вас - MHDDFS. Это модуль файловой системы для FUSE, позволяющий объединить несколько обычных файловых систем в одну большую «виртуальную», которая будет содержать в себе не только все файлы объединённых ФС, но и всё их свободное место. Кроме того, в отличие от других подобных модулей, этот не ограничивает возможность записи на виртуальную объединённую ФС, а автоматически распределяет новые файлы по тем физическим дискам, где ещё есть свободное место.
Пакет доступен для Linux дистрибутивов (точно работает в Debian, Ubuntu)

Answer 8

[Виталий Пухов]

Сам задавался таким вопросом, если под Linux вариантом куча и есть довольно надежные то под windows всего парочка и то половина платных, нашел такой OpenSource продукт как liquesce , на звание лучшего продукта года не тянет, но свою функцию выполняет вполне, она создает так называемый Pool, в который подключаются обычные папки с обычных дисков, все что размещается в этих папках будет на одном "виртуальном" диске, и соответственно все что будет складироваться на этот виртуальный диск будет лежать в тех папках, при этом свободное место суммируется со всех дисков, получается никой разницы с точки зрения надежности по сравнению с обычным складированием на диск нет, но диск уже 1. Единственное тут без ложки дегтя не обошлось, баги есть и разработчик видимо не очень много времени тратит на их исправление, поэтому иногда могут быть "глюки", смертельных не встречал, но например невозможность перенести с "виртуального" диска на физический может возникнуть, решается тем что нужно найти эту папку (файл) в папках пула на физическом диске и делать с ним все что угодно. Еще с такого диска не все игры запускаются, все таки он не идеальный "виртуальный" диск.

Comments

[Иван Филатов]

мне очень важно чтобы проводник и все другие проги понимали это на уровне файловой системы. они вообще не должны понимать что там 3 диска, для них это один большой. родная совместимость нужна.

[Виталий Пухов]

Иван Филатов: чтобы вообще все понимали под видной решения нет, есть полурабочие типа StableBit (скорость никакая тупит страшно интерфейс убогий) или drive bender, тоже не лучше. С liquesce 99% программ нормально этот диск воспринимают, с играми не всегда, часть нормально работает, часть не запускается.

[Иван Филатов]

Виталий Пухов: "чтобы вообще все понимали под видной решения нет" - решение есть. выше в комментариях. я рассматриваю варианты и тестирую сейчас уже предложенные.

[Виталий Пухов]

Иван Филатов: тут есть выбор, либо "полноценный виртуальный пул", но в случае смерти одного диска умрут оба, либо "недодиск", в котором если один умрет останутся те файлы, что были на втором, но проблемы с совместимостью. Мне для хранения торрентов, фильмов, музыки и прочего шлака больше походит недодиск с его несовместимостью, игры я предпочитаю ставить в отдельно заточенные под это папки.

[Виталий Пухов]

Иван Филатов: "выше в коментариях" это наверное про "Дисковые пространства" или Storage Pool, это как раз относится к категории "полноценный виртуальный пул", если один диск умрет умрет весь пул со всем его содержимым.

[Иван Филатов]

Виталий Пухов: я пока смотрю в сторону JBOD. скорость записи не важна. главное чтобы был большой очень большой объем. и чтобы его можно было наращивать в случае чего.

[Виталий Пухов]

Иван Филатов: Аналогично, если 1 умрет умрет весь jbod

[Иван Филатов]

Виталий Пухов: "Отказ одного диска позволяет восстановить файлы на остальных дисках (если ни один из их фрагментов не принадлежит повреждённому диску)"

[Виталий Пухов]

Иван Филатов: конечно, восстановить можно, но это не будет просто отключил диск и работаешь с оставшимся, для этого надо будет пересобирать массив или чтото в этом духе и есть риск того, что в процессе что ни будь пойдет не так и массив сломается окончательно и восстанавливать придется уже специализированным софтом и это будет уже не так просто

[Иван Филатов]

Виталий Пухов: я готов взять на себя эти риски. Бекап данных все равно делается.

Сейчас все диски по отдельности. Бекап делается с каждого по отдельности.
Но проблема в том что нужно постоянно принимать решение - куда сохранять, заводить аналогичные пути - папки для файлов - сохранять файл. 5 дисков сейчас - проверяем 1й - не можем, проверяем 2й - можем, пишем. если что-то удаляли - появилось место на первом и т.д. Муторно!

[Виталий Пухов]

Если есть возможность все продублировать то Jbod однощначно в плюсе)

Answer 9

[alexq2]

А сколько вам нужен суммарный объем дискового пространства? Сколько вы дисков в райд запихнуть хотите?