Набиваешь компьютер контроллерами, расширяющими количество sata (ide и другие, какие у тебя диски), можно несколько компьютеров, и физически подключаешь диски.
Осторожно, разные способы подключения могут задавать разные ограничения. Например USB контроллеры ограничивают совокупную скорость подключенных к ним дискам (обычно правда только один диск можно) - usb2 до 30мбайт/сек, usb3 примерно сравнимо с sata (5гбит/сек это), pci дают не больше 100мбайт/сек (133 кажется), pci-e 8 максимум выдаст 8гбит/с.
Т.е. к примеру не пытайся к одной старой pci подключить 5 дисков, совокупная их скорость не превысит 100мбайт, что нормально для одного диска но фатально для массива.
Теперь второе, протестируй каждый диск на линейную и не только скорость, как в начале так и в конце, плюс собери статистику (например старые диски с большим количеством перемапленых бэд секторов могут давать нормальную скорость в одном месте но плохую в другом), каждому диску пропиши скорость в наихудшем.
Третье, собирай софтварные рейды из дисков с приблизительно равными скоростями в худшем, и тем более не все в один огромный, это бессмысленнно, но примерно два года у меня проработал конфиг (потом разобрал так как купил норм диски) из старых дисков разного размера где был собран двухуровневый каскадный рейд, где из двух дисков был собран raid0 с чередованием (это ускоряет итоговый результат без резервирования) а затем с использованием этого логического тома и трех других собран raid5, при этом размеры всех дисков были разные, и были использованы специально созданные тома на тех дисках что больше, из остатков собрал raid0 (точнее тот что предлагает btrfs это просто объединение разделов в один, последовательным присоединением) но из-за ненадежности этот хвостовой так для хранения не использовался.
С помощью linux nbd или iscsi утилита istgt (или aoe если есть возможность выделить отдельный сетевой кабель на каждый логический диск) или даже drbd можно объединить диски с разных физический компьютеров.
Важно, не используй аппаратные рейды - это вендорлок, к тому же дешевые встроенные в материнку не дают никакого бонуса, а дорогие тут наверное бессмысленны.
Вместо dmraid можно использовать фичи btrfs или zfs, где функции рейда встроены в файловую систему (осторожно btrfs raid5/6 заявлены как
нестабильные, я не знал, пользовался несколько лет, вроде проблем нет, даже когда менял сбойный диск, но это конечно не аргумент)
Не стоит создавать один огромный массив, мало того, даже в пределах большого диска я создаю несколько маленьких (хотя конечно это уже от твоих задач должно исходить), так как обслуживать маленькие заметно удобнее, к примеру изменение класса raid (raid1 -> raid5) или добавление диска raid5 и переконфигурирование можно делать поэтапно, плюс raid rebuild обычно медленней пересозадания (т.е. бакапишь данные с маленького, пересоздаешь с другой конфигурацией, тем более к примеру когда сначала у тебя были 3тб диски а потом станешь докупать 4..6тб, достаточно использовать терабайтовые куски чтобы горя не знать...
Можно пользоваться lvm или все отдать на откуп btrfs, уже твое усмотрение. Я лучше буду работать с несколькими независимыми точками монтирования, разруливая при необходимости симлинками.