Как правильно декодировать JSON в UnmarshalJSON?

Question

[Дмитрий Свиридов]

Есть вот такие 2 структуры, в которые я хочу декодировать JSON, получаемый по API:

type TemplateCategory struct {
	ID              int    `json:"id"`
	Name            string `json:"name"`
}

type Template struct {
	Name            string                `json:"name"`
	CategoryInfo    *TemplateCategoryType `json:"category_info"`
}

При отсутствии category_info в template прилетает вот такое: []. Соответственно я написал свой UnmarshalJSON:

type TemplateCategoryType struct {
	*TemplateCategory
}

func (t *TemplateCategoryType) UnmarshalJSON(b []byte) error {
	s := strings.Trim(string(b), "\"")
	if s == "[]" {
		t.TemplateCategory = nil
		return nil
	}

	var category TemplateCategory
	if err := json.Unmarshal(b, &category); err != nil {
		return err
	}

	t.TemplateCategory = &category
	return nil
}

Но тут возникает проблема, что в template.CategoryInfo у меня получается не просто указатель на структуру, а вот такое &{0xc000134d20} (указатель на структуру TemplateCategoryType, внутри которой указатель на TemplateCategory или же nil) - то есть мне приходится обращаться к данным для получения категории вот так: template.CategoryInfo.CategoryInfo. Как сделать так, чтобы у меня в template.CategoryInfo был либо указатель на структуру, либо просто nil, а не &{nil}?

Comments

[Евгений Мамонов]

Покажите JSON который вы получаете

[Дмитрий Свиридов]

Евгений Мамонов, если категория есть, то вот такой:

{
	"name": "Мой шаблон",
	"category_info": {
		"id": 109,
		"name": "Тест",
	}
}

Если нет, то вот такой:

{
	"name": "Мой шаблон без категории",
	"category_info": []
}

[Евгений Мамонов]

мега жесть :))
сейчас попробую сделать пример

[Дмитрий Свиридов]

Евгений Мамонов, спасибо) Увы, не я его формирую

Answer 1

[Евгений Мамонов]

Есть не очень красивый вариант, но если нужно быстро решить задачу - можно использовать.
Если у вас нагрузка небольшая - можно его использовать на постоянной основе.
Если же нагрузка огромная - тогда надо иначе делать.
Только везде, где символ `_` надо сделать обработку ошибок.

package main

import (
    "encoding/json"
    "fmt"
    "log"
)

type TemplateCategory struct {
    ID   int    `json:"id"`
    Name string `json:"name"`
}

type Template struct {
    Name         string            `json:"name"`
    CategoryInfo *TemplateCategory `json:"category_info"`
}

func (t *Template) UnmarshalJSON(b []byte) error {
    var result map[string]interface{}
    if err := json.Unmarshal(b, &result); err != nil {
        return err
    }

    if t == nil {
        t = &Template{}
    }
    t.Name, _ = result[`name`].(string)

    categoryInfo, isMap := result[`category_info`].(map[string]interface{})
    if isMap {
        t.CategoryInfo = &TemplateCategory{}
        t.CategoryInfo.ID, _ = categoryInfo[`id`].(int)
        t.CategoryInfo.Name, _ = categoryInfo[`name`].(string)
    }

    return nil
}

func main() {
    json1 := []byte(`{
        "name": "Мой шаблон",
        "category_info": {
            "id": 109,
            "name": "Тест"
        }
    }`)

    json2 := []byte(`{
        "name": "Мой шаблон",
        "category_info": []
    }`)

    var data1 Template
    err := json.Unmarshal(json1, &data1)
    if err != nil {
        log.Fatalf(`json1: %s`, err)
    }

    var data2 Template
    err = json.Unmarshal(json2, &data2)
    if err != nil {
        log.Fatalf(`json2: %s`, err)
    }

    fmt.Printf("data1: %+v\n", data1)
    fmt.Printf("data1.CategoryInfo: %+v\n\n", data1.CategoryInfo)

    fmt.Printf("\n\ndata2: %+v\n", data2)
    fmt.Printf("data2.CategoryInfo: %+v\n\n", data2.CategoryInfo)
}

Вывод:
data1: {Name:Мой шаблон CategoryInfo:0xc00000c0c0}
data1.CategoryInfo: &{ID:0 Name:Тест}

data2: {Name:Мой шаблон CategoryInfo:}
data2.CategoryInfo:

Comments

[Евгений Мамонов]

то, что нужно?

[Дмитрий Свиридов]

Евгений Мамонов, к сожалению, нет. В принципе, идея-то годная, но дело в том, что JSON, который выше присылал, я для простоты сократил. У меня в CategoryInfo полей 6 штук. Да, не проблема все 6 полей кастовать через .(int), .(string) и т.п., как в Вашем примере, но дело в том, что в этом API есть сильно более сложные объекты с достаточно большим количеством полей - и там наблюдается точно такая же ситуация. То есть вручную там каждое поле конвертировать из interface{} в нужный тип - не вариант...

[Евгений Мамонов]

Скиньте полный пример данных, может глядя на данные придумается вариант лучше.

[Дмитрий Свиридов]

Евгений Мамонов, я придумал ещё один примитивный вариант. Как Вы думаете, есть ли тут подводные камни?

func (t *Template) UnmarshalJSON(data []byte) error {
	raw := string(data)
	data = []byte(strings.ReplaceAll(raw, `"category_info": []`, `"category_info": null`))

	type template Template
	if err := json.Unmarshal(data, (*template)(t)); err != nil {
		return err
	}
	return nil
}

То есть просто подправляю исходный json по сути - и всё.

[Евгений Мамонов]

Дмитрий Свиридов, я думал о таком варианте :)))
Но не стал его рекомендовать, счёл вариант с интерфейсами более надёжным для двух структур.
С учётом того, что таких структур у вас очень много - вариант с заменой вполне подходящий.
Это явно очень кривой JSON, точнее он просто рассчитан на скриптовые языки.
В нём надо навести порядок )))

[Дмитрий Свиридов]

Евгений Мамонов, это API одного достаточно известного в СНГ сервиса по рассылке писем (название не хочу говорить) - и там у них всё настолько криво сделано, к сожалению.

[Евгений Мамонов]

Скорее всего его делали очень давно и теперь вынуждены сохранять обратную совместимость.
Хотя могли бы и версию 2.0 сделать :)

Answer 2

[Дмитрий Шицков]

Как насчет такого варианта?
https://play.golang.org/p/kqqWgqNacZO

package main

import (
	"encoding/json"
	"fmt"
)

type TemplateCategory struct {
	ID   int    `json:"id"`
	Name string `json:"name"`
}

type Template struct {
	Name            string           `json:"name"`
	CategoryInfoRaw *json.RawMessage `json:"category_info"`
	CategoryInfo    *TemplateCategory
}

func (t *Template) UnmarshalJSON(data []byte) error {
	type template Template
	if err := json.Unmarshal(data, (*template)(t)); err != nil {
		return err
	}

	if t.CategoryInfoRaw == nil || string(*t.CategoryInfoRaw) == "[]" {
		t.CategoryInfo = nil
	} else {
		if err := json.Unmarshal(*t.CategoryInfoRaw, &t.CategoryInfo); err != nil {
			return err
		}
	}

	return nil
}

func main() {
	res := &Template{}
	str1 := `{
		"name": "Мой шаблон",
		"category_info": {
    			"id": 109,
    			"name": "Тест"
                 }
        }`

	str2 := `{
 		"name": "Мой шаблон",
  		"category_info": []
	}`

	_ = json.Unmarshal([]byte(str1), res)
	fmt.Printf("%+v\n", res)
	fmt.Printf("%+v\n", res.CategoryInfo)
	_ = json.Unmarshal([]byte(str2), res)
	fmt.Printf("%+v", res)
}

Прошу прощение за форматирование - под рукой был только go-playground

Comments

[Дмитрий Свиридов]

Вариант хороший, кстати, спасибо. Жаль только, что CategoryInfoRaw наружу торчать будет...

[Дмитрий Шицков]

Дмитрий Свиридов, этот вариант будет дешевле по коду, если вы свыкнитесь с тем что Raw поле "торчит".
Альтернативой будет разделение на Template(с конкретным полем) и TemplateRaw(с Raw полем). Первым проходом анмаршаллить JSON в TemplateRaw, вторым - выполнять Unmarshall из TemplateRaw.CategoryInfo в Template.CategoryInfo. Правда там все прочие поля придется скопировать... А это или присваивать каждое поле, либо крутить цикл на Reflect - та еще затея. Есть еще библиотека copystructure реализующая такой функционал. Но проще наверно смириться с лишним полем ;)

[Дмитрий Свиридов]

Дмитрий Шицков, странно, что в Go нет простых способов решения такой проблемы. Все, что я видел - костыли какие-то.

[Дмитрий Свиридов]

Дмитрий Шицков, а как Вам такой вариант?))

func (t *Template) UnmarshalJSON(data []byte) error {
  raw := string(data)
  data = []byte(strings.ReplaceAll(raw, `"category_info": []`, `"category_info": null`))

  type template Template
  if err := json.Unmarshal(data, (*template)(t)); err != nil {
    return err
  }
  return nil
}

[Дмитрий Шицков]

Дмитрий Свиридов, имеет право на жизнь. Возможно будет лучше сделать замену всех [] на null

data = []byte(strings.ReplaceAll(raw, "[]", "null"))

[Евгений Мамонов]

Увы, я тоже не встречал элегантных решений.
Если данных много и нет возможности/желания тратить на это время - есть еще вот такой вариант,
но тут не получится сделать CategoryInfo равным nil, и потом придётся проверять примерно так
data2.CategoryInfo.ID == 0
Но так можно быстро добавить ваши структуры.
Я еще подумаю над этим вопросом, может придумается решение ))

package main

import (
    "encoding/json"
    "fmt"
    "log"

    "github.com/davecgh/go-spew/spew"
)

type Template struct {
    Name         string            `json:"name"`
    CategoryInfo *TemplateCategory `json:"category_info"`
}

type TemplateCategory struct {
    ID   int    `json:"id"`
    Name string `json:"name"`
}

type TemplateCategoryAlias TemplateCategory

func (t *TemplateCategory) UnmarshalJSON(b []byte) error {
    s := string(b)
    if s == `[]` {
        return nil
    }

    var result TemplateCategoryAlias
    if err := json.Unmarshal(b, &result); err != nil {
        return err
    }

    *t = TemplateCategory(result)

    return nil
}


func main() {
    json1 := []byte(`{
        "name": "Мой шаблон",
        "category_info": {
            "id": 109,
            "name": "Тест"
        }
    }`)

    json2 := []byte(`{
        "name": "Мой шаблон",
        "category_info": []
    }`)

    var data1 Template
    err := json.Unmarshal(json1, &data1)
    if err != nil {
        log.Fatalf(`json1: %s`, err)
    }

    var data2 Template
    err = json.Unmarshal(json2, &data2)
    if err != nil {
        log.Fatalf(`json2: %s`, err)
    }

    fmt.Printf("data1: %+v\n", data1)
    fmt.Printf("data1.CategoryInfo: %+v\n\n", data1.CategoryInfo)

    fmt.Printf("\n\ndata2: %+v\n", data2)
    fmt.Printf("data2.CategoryInfo: %+v\n\n", data2.CategoryInfo)
}

[Дмитрий Свиридов]

Дмитрий Шицков, я так решил не рисковать, т.к. в некоторых свойствах могут быть массивы - в том числе и пустые. И там тоже двойные скобочки.