Павел Межуев

zfs (пока планирую использовать его, озу добавлю, ecc есть) или чем-то еще со встроенной дедупликацией

С дедупликацией ZFS надо быть осторожней. На первый взгляд она классная, но есть нюансы:

1. Требование к оперативной памяти прямо пропорционально объёму хранимых дедуплицированных данных. Примерно 5 ГБ памяти на 1 ТБ данных.
   
2. Даже если отключить дедупликпцию, ОЗУ будет продолжать использоваться пока вы не удалите весь пул.
   
3. Скорость работы с таким пулом может разочаровать. В общем случае дешевле и проще добавить ещё дисков.
   

организовать на одном диске зеркальный массив для ценной информации плюс все остальное место для всякого мусора в raid0.

В ZFS можно использовать в качестве vdev не только физические диски, но и логические разделы и даже файлы (но файлы лучше не надо). Так что такая конфигурация вполне возможна. Будет два пула:

zpool create mirroring-pool mirror sda1 sdb1
zpool create striping-pool sda2 sdb2

Черевато ли такая разметка диска чем-то еще?

Пока хватает IOPS и скорости разницы не будет.

Хочется собрать raid-z1 из 4-х дисков задействовав "малышей" по 500гб, а позднее апгрейднуть все диски до 3тб.

Делайте. Это вполне штатный вариант. Впоследствии сделаете zpool set autoexpand=on <pool> и через zpool replace <pool> <device> [new-device] произведёте замену дисков. После замены последнего диска пул автоматически расширится до нового объёма.

остальные 2,5тб на каждом диске временно либо без raid использовать, либо в зеркале

Вам никто не может запретить стрелять себе в ногу. Делая так, вы должны отдавать себе отчёт, что создаёте повышенную нагрузку на эти два диска со всеми вытекающими.