Павел Межуев

FreeBSD перешла на OpenZFS с версии 13.0. В целом же различные реализации ZFS совместимы между собой при условии, что у пула список активированных Feature Flags поддерживается всеми системами, где его планируется использовать.

zfs (пока планирую использовать его, озу добавлю, ecc есть) или чем-то еще со встроенной дедупликацией

С дедупликацией ZFS надо быть осторожней. На первый взгляд она классная, но есть нюансы:

1. Требование к оперативной памяти прямо пропорционально объёму хранимых дедуплицированных данных. Примерно 5 ГБ памяти на 1 ТБ данных.
   
2. Даже если отключить дедупликпцию, ОЗУ будет продолжать использоваться пока вы не удалите весь пул.
   
3. Скорость работы с таким пулом может разочаровать. В общем случае дешевле и проще добавить ещё дисков.
   

организовать на одном диске зеркальный массив для ценной информации плюс все остальное место для всякого мусора в raid0.

В ZFS можно использовать в качестве vdev не только физические диски, но и логические разделы и даже файлы (но файлы лучше не надо). Так что такая конфигурация вполне возможна. Будет два пула:

zpool create mirroring-pool mirror sda1 sdb1
zpool create striping-pool sda2 sdb2

Черевато ли такая разметка диска чем-то еще?

Пока хватает IOPS и скорости разницы не будет.

Хочется собрать raid-z1 из 4-х дисков задействовав "малышей" по 500гб, а позднее апгрейднуть все диски до 3тб.

Делайте. Это вполне штатный вариант. Впоследствии сделаете zpool set autoexpand=on <pool> и через zpool replace <pool> <device> [new-device] произведёте замену дисков. После замены последнего диска пул автоматически расширится до нового объёма.

остальные 2,5тб на каждом диске временно либо без raid использовать, либо в зеркале

Вам никто не может запретить стрелять себе в ногу. Делая так, вы должны отдавать себе отчёт, что создаёте повышенную нагрузку на эти два диска со всеми вытекающими.

zpool attach [-f] pool device new_device

Attaches new_device to an existing zpool device. The existing device
cannot be part of a raidz configuration. If device is not currently
part of a mirrored configuration, device automatically transforms
into a two-way mirror of device and new_device. If device is part of
a two-way mirror, attaching new_device creates a three-way mirror,
and so on. In either case, new_device begins to resilver immediately.

-f Forces use of new_device, even if its appears to be in use.
Not all devices can be overridden in this manner.