Как сделать json.Marshal/Unmarshal для сложного мапа?

Question

[Владимир Грабко]

Мне понадобилось делать репликацию map с кешем в файл. Всё очень просто подумал я. Все "простые" (string, ... int) типы оно сохраняет по нормальному но как только в кеш попадает структура то начинаются проблемы. Сейчас мне приходится при каждом добавлении структуры в кеш ручками её кодировать в json (по всему коду...). Как сделать чтобы кодирование структур в json происходило автоматически в функции репликации?

Заюзать рефлекцию у меня не вышло.

Кеш хранит мап

type DB struct {
	Storage map[string]interface{}
	RW      *sync.RWMutex
}
var storage = map[string]*DB

Код репликации

package cache

import (
	"time"

	"encoding/json"

	"os"
	"io/ioutil"
	"log"
	"sync"
)
type Replication map[string]map[string]interface{}
func ReplicationFileSystem(file string, timeRepl time.Duration) {
	SelectReplication(file)
	for {
		time.Sleep(timeRepl)
		replication(file)
	}
}
func SelectReplication(file string){
	log.Println("Cache replication: Start")
	var replication Replication
	val, err := ioutil.ReadFile(file)
	if err != nil {
		log.Fatal("Cache replication err: ", err)
	}
	err = json.Unmarshal(val, &replication)
	if err != nil {
		log.Fatal("Cache replication decode err: ", err)
	}

	rw.Lock()
	for key, dbs := range replication {
		database[key] = &DB{
			Storage: dbs,
			RW : &sync.RWMutex{},
		}

	}
	rw.Unlock()
	log.Println("Cache replication: Ok")
}
func replication(file string) {
	encode := Replication{
		"replication":map[string]interface{}{
			"replication": "",
		},
	}
	rw.RLock()
	for k, v := range database {
		encode[k] = v.Storage
	}
	rw.RUnlock()

	json, _ := json.Marshal(encode)
	saveFile(file, string(json))
}

func saveFile(file, raw string) {
	f, err := os.Create(file)
	if err != nil {
		return
	}
	defer f.Close()

	f.WriteString(raw)

}

Comments

[Евгений Иваха]

Блин, как много репликаций. Репликация на репликации и репликацией подгоняет.

encode := Replication{
"replication":map[string]interface{}{
"replication": "",
},
}

Вообще не ясно зачем так сделано.

Как бы то ни было, вот тут я проверил – проблем не вижу.

https://play.golang.org/p/bIL6_mVPOK

[Евгений Иваха]

Или даже так:

https://play.golang.org/p/MRXTdh3tzc

Всё отлично. В чем проблема-то?

[Владимир Грабко]

Евгений Иваха: а я уже и не помню. Но знаю что исправил.

Answer 1

[Александр Сёмченко]

Что мешает объявить структуру как json структуру?

type Config struct {
	Database struct {
		DatabaseName     string `json:"database_name"`
		DatabasePassword string `json:"database_password"`
		DatabaseUser     string `json:"database_user"`
		DatabasePort     int    `json:"database_port"`
	} `json:"database"`
	Accounts struct {
		AutoCreate bool `json:"auto_create"`
	} `json:"accounts"`
	Client struct {
		BanTimeForBruteForcing int    `json:"ban_time_for_brute_forcing"`
		Host                   string `json:"host"`
		LoginTryBeforeBan      int    `json:"login_try_before_ban"`
		Port                   int    `json:"port"`
	} `json:"client"`
	Server struct {
		Pingpong          bool   `json:"pingpong"`
		Host              string `json:"host"`
		PingpongDelay     bool   `json:"pingpong_delay"`
		PingpongDelayTime int    `json:"pingpong_delay_time"`
		Port              int    `json:"port"`
	} `json:"server"`
}

Если я правильно тебя понял.

Comments

[Владимир Грабко]

я делаю кеш в мапе

[Владимир Грабко]

и в итоге я даже представить не могу что за данные в мапе

[Александр Сёмченко]

А теперь то-же но по русский.

[Владимир Грабко]

Александр Сёмченко: У меня по коду заполняется карта Storage. В ней любые данные (от структур до int) переодически я реплицырую этот мап на жесткий диск. Но все структуры он кодирует не верно (вместо json я получаю "" )

[Владимир Грабко]

Александр Сёмченко: и потом при загрузке кеша с файловой системы он числится что есть (там же пустая строка) и дальше думаю понятно что делает мой ккод ))

[Владимир Грабко]

Александр Сёмченко: а если там bool, int и т.д. то всё нормально

Answer 2

[Max Voronov]

Если нужно преобразовывать сложные структуры по какой-то особой логике, то возможно имеет смысл использовать свой метод маршалинга. Вот небольшой грубый пример, но в целом думаю идею сможет донести верно:

type Person struct {
	Id int
	Name string
}

func (p Person) MarshalJSON() ([]byte, error) {
	// Your custom logic
	return []byte(`{"name": "` + p.Name + `"}`), nil	
}

func main() {
	user := Person{Id: 1, Name: "Mr.Incognito"}
	json.NewEncoder(os.Stdout).Encode(user)
	// Вместо всей структуры выведет только {"name":"Mr.Incognito"}
}

Попробовать в сэндбоксе: https://play.golang.org/p/SyVWaDtBR9