Почему не десериализуется JSON объект при помощи Newtonsoft.Json?

Question

[Nik Faraday]

Здравствуйте!

Не могу показывать полный объект, покажи лишь проблему в частях. Тестирую код на сериализацию/десериализацию. При сериализации объект нормально записывается, тут проблем нету При десериализации возникает ошибка:

Newtonsoft.Json.JsonReaderException: 'Unexpected character encountered while parsing value: {. Path 'Header.CoverPage.Title', line 12, position 16.'

Как на самом деле выглядит это место в файле:

Простите, что всё зачеркнуто и жмёт глаз, по другому не могу

Самое интересно, что если закидывать эту json-ку в онлайн-форматтеры, то всё нормально, весь объект показывает целиком и в нормальном виде, без ошибок. Для десериализации использую Newtonsoft.Json, вот упрощённый пример кода для десериализации:

string readJsonObject = string.Empty;

using (StreamReader sr = new StreamReader(path))
{
    readJsonObject += sr.ReadToEnd();
}
MyType JsonConvert.DeserializeObject<MyType>(readJsonObject);

Comments

[Василий Банников]

Покажи, как твой MyType выглядит

[Nik Faraday]

Василий Банников, не могу полностью показать, вот условная часть, что отваливается:

public X x { get; private init; }
public HeaderStructure Header { get; private init; }
// ...

Далее похожие свойства, но к ним не доходит. Вот HeaderStructure:

public CoverPage CoverPage { get; set; }
public X1 x1 { get; set; }
public X2 x2 { get; set; }

CoverPage:

public TextContent Title { get; set; }
public TextContent x1 { get; set; }
public TextContent x2 { get; set; }

TextContent:
public string Content { get; set; }

[Сергей Соловьев]

обычный JsonSerializer работает?

[Nik Faraday]

Сергей Соловьев, нет, т.к. у меня в классе нет открытых конструкторов без параметров

[Nik Faraday]

Сергей Соловьев, да и там во многих классах нет таких конструкторов. Там есть билдеры, которые сами объекты строят

[Сергей Соловьев]

Nik Faraday, т.е. кастомный десериализатор используется? (который регистрируется)

[Nik Faraday]

Сергей Соловьев, нет, тот же Newtonsoft.Json сериализатор. Вроде бы как с сериализацией всё хорошо, т.к. онлайн вьюверы нормально этот объект десериализируют

Answer 1

[Nik Faraday]

Сделаю заключение долгих попыток десериализации сложных объектов, советов и рекомендаций.

Первое что нужно понимать при сериализации и десериализации, что объект должен иметь возможность полного построения, т.е., иметь public конструктор и все свойства должны быть set (Именно public set, init так же не подходит)

Проблема в том, что сериализаторы (По крайней мере те, который я использовал, это Newtonsoft.Json, System.Json и Utf8Json) не работают с System.Reflection, т.е., они могут восстановить только те поля/свойства, который доступны публично

BinarySerialization так же не подходит

Почему я не встречал такой ошибки раньше? Потому что на проектах типу web api + react основной единицей транспортировки данных были модели, так называемые DTO (Data Transfer Object), которые сами по себе имеют только публичные свойства и стандартный публичный конструктор без параметров и эти объекты отлично работают для отправки информации через http

Comments

[Александр]

Какая версия .net? Насколько я помню, в net8 как раз таки добавили что необязательно поля должны быть публичными

[Nik Faraday]

Александр, не поверите, 8.0) Я их по старинке не маркаю required

Answer 2

[VoidVolker]

Попробуйте сделать парсер через quicktype (Как правильно описать класс для библиотеки Newtonsoft.Json C#?) - похоже, что где-то у вас несоответствие типа и JSON.

spoiler

{
  "Header": {
    "CoverPage": {
        "Title": { "Content": "data" }
    }
  }
}

// <auto-generated />
//
// To parse this JSON data, add NuGet 'Newtonsoft.Json' then do:
//
//    using QuickType;
//
//    var data = Data.FromJson(jsonString);

namespace QuickType
{
    using System;
    using System.Collections.Generic;

    using System.Globalization;
    using Newtonsoft.Json;
    using Newtonsoft.Json.Converters;

    public partial class Data
    {
        [JsonProperty("Header")]
        public Header Header { get; set; }
    }

    public partial class Header
    {
        [JsonProperty("CoverPage")]
        public CoverPage CoverPage { get; set; }
    }

    public partial class CoverPage
    {
        [JsonProperty("Title")]
        public Title Title { get; set; }
    }

    public partial class Title
    {
        [JsonProperty("Content")]
        public string Content { get; set; }
    }

    public partial class Data
    {
        public static Data FromJson(string json) => JsonConvert.DeserializeObject<Data>(json, QuickType.Converter.Settings);
    }

    public static class Serialize
    {
        public static string ToJson(this Data self) => JsonConvert.SerializeObject(self, QuickType.Converter.Settings);
    }

    internal static class Converter
    {
        public static readonly JsonSerializerSettings Settings = new JsonSerializerSettings
        {
            MetadataPropertyHandling = MetadataPropertyHandling.Ignore,
            DateParseHandling = DateParseHandling.None,
            Converters =
            {
                new IsoDateTimeConverter { DateTimeStyles = DateTimeStyles.AssumeUniversal }
            },
        };
    }
}

Comments

[Nik Faraday]

Уже смотрел через него, там тоже вроде бы как порядок. Конкретно часть, не которой ошибка выглят вот так в QuickType:

public partial class CoverPage
{
    [JsonProperty("Title")]
    public Content Title { get; set; }
}

[VoidVolker]

Ну, без полного кода тут больше ничего и не сказать. Либо приводите полностью весь код с исходным запросом либо самостоятельно делайте дебаг.

[Nik Faraday]

VoidVolker, я делал дебаг, оно просто отваливается на строке DeserializeObject. Посмотрите в комментариях под самим постом, я так написал несколько сообщений, может они могут вам помочь мне )

[Nik Faraday]

VoidVolker, какие другие конвертеры вы можете посоветовать? Может это поможет решить проблему

[VoidVolker]

Комментарии я видел.

я делал дебаг, оно просто отваливается на строке DeserializeObject.

Это значит, что вы не смогли завершить дебаг. Продолжайте его дальше. Я привел минимально рабочий код для такого же запроса как у вас - он работает. Так что ищите где именно ваша ошибка.

[#]

VoidVolker, ты давно куратор? ))

[#]

VoidVolker, сам часто пробую код, но тут скрыт... ну и как бы проблемы тс..

[VoidVolker]

#,

ты давно куратор? ))

Не-а, может месяца 3-4 - осенью примерно прислали инвайт.

сам часто пробую код, но тут скрыт... ну и как бы проблемы тс..

Ну дык сам себе он злобный буратина )

[#]

VoidVolker, ну с пополнением ))
Nik Faraday,

Newtonsoft.Json.JsonReaderException: 'Unexpected character encountered while parsing value: {. Path 'Header.CoverPage.Title', line 12, position 16.'

тут и надо курить. видимо конфидент сплошной? ну звиняй ((

[VoidVolker]

#, спасибо )

[#]

VoidVolker, да лан, пересекаемся иногда...сам один из первых.. хоть иногда и буяню ))

[#]

VoidVolker, ну в смысле с тобой чаще совпадаем мнением ))

[Nik Faraday]

#, та и курю) Пробовал ставить другой конвертер (Utf8Json) но результат примерно тот же. А NewtonJson ругается на... Пробел? ¯\_(ツ)_/¯

[#]

Nik Faraday, хм.. ну тут сложно без оригинала .. а там по ходу конфидент сплошной? ((

[VoidVolker]

#,

да лан, пересекаемся иногда...сам один из первых.. хоть иногда и буяню ))

Да, заметил. Аналогично )

Nik Faraday, кстати, а код символов-то там проверяли какой? Делайте шестнадцатеричный дамп запроса и смотрите. А то вдруг там что-то отличное от пробела или еще какой символ нестандартный (вполне реальная ситуация). Кроме того, что мешает скопипастить запрос без критичных данных-то и сделать нормальный полноценный пример кода?

[Nik Faraday]

#, к сожалению да, т.к. это часть дата-модели

[Nik Faraday]

VoidVolker, может ли это как-то быть связано с тем, что в классов нет публичных конструкторов и есть свойства private init?

[VoidVolker]

Nik Faraday, Может да, а может нет.

[Nik Faraday]

VoidVolker, короче, дело было так...

Я попробовал использовать библиотеку Utf8Json для сериализации/десериализации. Я попытался сделать сериализацию через byte[] закинув этой всё в файл при помощи BinaryWriter. При чтении через BinaryReader я получил аналогичный byte[], который должен был восстановить исходный объект, т.к. количество байтов, их последовательность и значения совпадали (Что логично предположить, что объект нормально прочитался в точности 1 в 1), но при попытке десериализации я получил ошибку:

System.InvalidOperationException: 'generated serializer for Document does not support deserialize.'

Вот сам код сериализации:

if (string.IsNullOrWhiteSpace(path))
{
    path = document.Metadata.SavedAt;
}

string fileName = document.Metadata.DocumentName;
string fileExtension = document.Metadata.Extension;
string fullFileName = $"{fileName}.{fileExtension}";

byte[] documentBytes = JsonSerializer.Serialize(document);

try
{
    using (FileStream fileStream = File.Create(fullFileName))
    using (BinaryWriter binaryWriter = new BinaryWriter(fileStream))
    {
        binaryWriter.Write(documentBytes);
    }
}
catch (Exception ex)
{
    return ResponseService<string>.Error(ex.ToString());
}
return ResponseService<string>.Ok(fullFileName);

Вот десериализация:

byte[] readBytes = new byte[0];

using (FileStream fileStream = new FileStream(path, FileMode.Open))
using (BinaryReader binaryReader = new BinaryReader(fileStream))
{
    readBytes = binaryReader.ReadBytes((int)binaryReader.BaseStream.Length);
}

try
{
    Document result = JsonSerializer.Deserialize<Document>(readBytes);
    return ResponseService<Document>.Ok(result);
}
catch (Exception ex)
{
    return ResponseService<Document>.Error(ex.ToString());
}

По этому посмею предположить, что проблема из-за запрета доступа к свойствам. Тут может быть несколько объяснений этой теории. System.Json мне прямо сказала, что для таких действий нужен public конструктор без параметров, а NewtonSoft.Json просто кидало ошибку при попытке чтения символов (Что до сих пор остаётся под вопросом). Далее попробую сделать некие изменения в коде, если всё будет работать, выставлю остаточный ответ

[VoidVolker]

В NewtonSoft.Json есть атрибут для указания какой именно конструктор ему использовать. Да в чем сложность завести публичный конструктор-то?

[Nik Faraday]

VoidVolker, проблема в том, что не должно быть публичных конструкторов. Решение проблемы из самого вопроса я нашёл, но это немного рушит бизнес логику приложения. Все компоненты системного объекта должны быть приватными, а сам объект строится за счёт реализации паттерна Builder, т.е. он имеет доступ к приватным конструкторам и может полностью воссоздать требуемый сложный объект по установленным правилам (Реализация Strategy)

[Nik Faraday]

VoidVolker, ещё додам

Это мне вообще в наследство досталось) Предыдущие разработчики плохо понимали понятия слабо связанного кода, по этому тут очень много косяков есть. Пока не хочу что-то менять, т.к. боюсь, что всё развалится просто.

Как реализацию бизнес задачи я сделаю метод для Export'а и Import'а объекта вручную. Наверно придётся писать свой сериализатор на базе System.Reflection