Возможна ли частичная десериализация?

Question

[Виталий Пухов]

В одном из приложений у меня сериализуются структуры, в которых кроме всего прочего лежат достаточно большие массивы byte[](суммарный объем может достигать гигабайт), возник вопрос, реально ли десериализовать структуру не полностью, без этих массивов, но с возможностью подгружать их по мере надобности с диска?
Пока единственным решением видится последовательная запись массивов в отдельный файл, а в структуре хранить только точку "начала массива" и длину, но это не очень удобно вроде бы.

Answer 1

[vvovas]

Все зависит от того, чем сериализуете.
Как минимум в xmlSerializer есть аттрибут xmlignore, который можно применить к свойству класса и это свойство не будет десериализоваться.
Чтобы считать данные потом, можно создать еще один класс с единственным свойством, соответствующим массиву, и десериализовать этот объект.

что-то типа:

class FullIObject{
    //some properties
   
    [XmlIgnore]
    public byte[] Data{get;set;}
}

class DataArray{
    public byte[] Data{get;set;}
}

Comments

[Виталий Пухов]

частично может помочь, в частности считать из xml без перечитывания всего xml все таки можно, но в моем случае в структуре много массивов (десятки или сотни тысяч), из них понадобиться могут скажем несколько тысяч, поэтому считывать всю структуру нет как бы никакого смысла. В случае с XML найти ветку в которой лежит искомый массив будет не проще чем запомнить в каком месте файла массив начинается и переместить указатель в потоке к этому месту. С частичной сериализацией у меня вопросов нет, там все просто, но сложно записать всю структуру со всеми элементами, а загружать только ту ее часть, что весит немного и позже по мере необходимости загружать конкретные элементы(которые уже весят много больше)

[vvovas]

Виталий Пухов: тогда проще не в один файл, а для каждого массива свой и хранить путь к файлу. Надо считать - считали весь файл.

[Виталий Пухов]

vvovas: не, этот вариант сразу отмел, во первых эффективность хранения падает из за размера кластера, во вторых файловой системе хреново когда файлов больше сотни тысяч