Все зависит от того, чем сериализуете.
Как минимум в xmlSerializer есть аттрибут xmlignore, который можно применить к свойству класса и это свойство не будет десериализоваться.
Чтобы считать данные потом, можно создать еще один класс с единственным свойством, соответствующим массиву, и десериализовать этот объект.
что-то типа:
class FullIObject{
//some properties
[XmlIgnore]
public byte[] Data{get;set;}
}
class DataArray{
public byte[] Data{get;set;}
}
