Из-за чего возникает ошибка fatal error: concurrent map writes?

Question

[rail01y]

Доброго времени суток!

Не могли бы пожалуйста подсказать, где я допустил ошибку, что временами go выкидывает ошибку

fatal error: concurrent map writes

Код:

func GetDocumentFrontend(filter bson.M, isPreview bool) (doc *Document, err error) {
	doc = &Document{}

	filter["deleted"] = false
	filter["published"] = true
	list, err := documentAggregateSearch(filter, 1, 0, "", BasicRelationsListing)
	if err != nil {
		return
	}
	if len(list) == 0 {
		return nil, fmt.Errorf("No documents found")
	}

	js, _ := json.Marshal(list[0])
	if err = json.Unmarshal(js, &doc); err != nil {
		return
	}

	return
}

Трейс ошибки:

Jan 10 20:58:31 app sh: fatal error: concurrent map writes
Jan 10 20:58:31 app sh: goroutine 252807 [running]:
Jan 10 20:58:31 app sh: runtime.throw(0x7f427f494f2c, 0x15)
Jan 10 20:58:31 app sh: /usr/local/go/src/runtime/panic.go:617 +0x74 fp=0xc00057f210 sp=0xc00057f1e0 pc=0x7f427edd5534
Jan 10 20:58:31 app sh: runtime.mapassign_faststr(0xefd800, 0xc000465350, 0x7f427f48ca9f, 0x7, 0xc000040700)
Jan 10 20:58:31 app sh: /usr/local/go/src/runtime/map_faststr.go:211 +0x438 fp=0xc00057f278 sp=0xc00057f210 pc=0x7f427edbc7a8
Jan 10 20:58:31 app sh: app/core/models/documents.GetDocumentFrontend(0xc000465350, 0xc000465301, 0xc000458774, 0x4, 0xc000457cb8)
Jan 10 20:58:31 app sh: /home/gitlab-runner/builds/BMuFqxHZ/0/auth/app/core/models/documents/service.go:302 +0xc1 fp=0xc00057f310 sp=0xc00057f278 pc=0x7f427f3a5691
Jan 10 20:58:31 app sh: plugin/unnamed-787bb3a7aa138abb2aa6eca860b2ab7eca546b81.SiteController(0x7f42955418a0, 0xc00010e0b0, 0xc000ce8a00)
Jan 10 20:58:31 app sh: /home/gitlab-runner/builds/BMuFqxHZ/0/auth/app/frontend/main/controllers/SiteController.go:93 +0x539 fp=0xc00057f500 sp=0xc00057f310 pc=0x7f427f487419
Jan 10 20:58:31 app sh: github.com/urfave/negroni.WrapFunc.func1(0x7f42955418a0, 0xc00010e0b0, 0xc000ce8a00, 0xc000352280

собственно насколько я понимаю он вылетает на строчке: app/core/models/documents/service.go:302, которая в функции выше является следующей:

filter["deleted"] = false
)

Answer 1

[Александр Павлюк]

Эта ошибка возникает потому что вы из двух горутин одновременно пишете в одну мапу. Так нельзя, ибо map не потокобезопасен. Конкурентный доступ к ней надо защищать мьютексом.
Или можете использовать sync.Map, который появился в go 1.9, там это сделали за вас.

Comments

[rail01y]

так нет общей мапы, это аргумент функции, эту функцию вызывает контроллер

func SiteController(w http.ResponseWriter, r *http.Request) {
    bsonQuery := bson.M{}
    if node.Params.ExtendFilter != nil {
		bsonQuery = node.Params.ExtendFilter
    }
    ....
   doc, err := documents.GetDocumentFrontend(bsonQuery, true)
}

SiteController соответственно вызывается в горутине, внутри же создает переменная, которая передается аргументом в функцию.

Разве нет гарантии, что скоп переменных, созданных внутри горутины только в ней и доступен?

[rustler2000]

rail01y, ExtendFilter

[Александр Павлюк]

rail01y, проверьте внимательнее, она может у вас где-то передается в другие функции и там изменяется. Данная ошибка не может иметь других причин.

Answer 2

[uvelichitel]

bson.M это map, это ссылочный тип. Когда вы передаете map аргументом в функцию вы передаете ссылку на участок памяти. Соответственно при конкурентном доступе к этому участку и возникает ошибка. Вам следует либо защитить этот участок примитивами синхронизации вроде sync.Mutex либо передавать в функцию не map, а копию. Например (в коде из вашего комментария)

func SiteController(w http.ResponseWriter, r *http.Request) {
    bsonQuery := bson.M{}
    if node.Params.ExtendFilter != nil { //node.Params.ExtendFilter глобальная переменная
    //следует не просто взять ссылку на нее
    //bsonQuery = node.Params.ExtendFilter
    //а сделать копию для безопасного конкурентного использования
        for key, value := range  node.Params.ExtendFilter{
              bsonQuery[key] = value
        }
    }
    ....
   doc, err := documents.GetDocumentFrontend(bsonQuery, true)
}

Comments

[rail01y]

код поправил, в итоге stack trace стал таким:

Mar 11 13:08:08 emApp1 sh: fatal error: concurrent map writes
Mar 11 13:08:08 emApp1 sh: fatal error: concurrent map writes
Mar 11 13:08:08 emApp1 sh: goroutine 263309 [running]:
Mar 11 13:08:08 emApp1 sh: runtime.throw(0x7f442b48ffdd, 0x15)
Mar 11 13:08:08 emApp1 sh: /usr/local/go/src/runtime/panic.go:617 +0x74 fp=0xc0000b52a8 sp=0xc0000b5278 pc=0x7f442adcbd24
Mar 11 13:08:08 emApp1 sh: runtime.mapassign_faststr(0xeffc40, 0xc00046f980, 0x7f442b488746, 0x8, 0x0)
Mar 11 13:08:08 emApp1 sh: /usr/local/go/src/runtime/map_faststr.go:291 +0x41d fp=0xc0000b5310 sp=0xc0000b52a8 pc=0x7f442adb2f7d
Mar 11 13:08:08 emApp1 sh: plugin/unnamed-749522c622ea16a892fb5c1bc7d3cec23518df8f.SiteController(0x7f4444c99cd0, 0xc0001100c0, 0xc0000f0c00)
Mar 11 13:08:08 emApp1 sh: /home/gitlab-runner/builds/BMuFqxHZ/0/auth/rt/frontend/vm/controllers/SiteController.go:76 +0x1490 fp=0xc0000b5500 sp=0xc0000b5310 pc=0x7f442b483280
Mar 11 13:08:08 emApp1 sh: github.com/urfave/negroni.WrapFunc.func1(0x7f4444c99cd0, 0xc0001100c0, 0xc0000f0c00, 0xc000149120)
Mar 11 13:08:08 emApp1 sh: /go/pkg/mod/github.com/urfave/negroni@v1.0.0/negroni.go:56 +0x43 fp=0xc0000b5528 sp=0xc0000b5500 pc=0xa6fd03

76 строка в этом файле - это проверка:

if node.Params.GetBy == "publicId" {
  ....
}

плохо теперь понимаю, откуда эта ошибка, так как в коде выше не идет присваивания во все
concurrent map writes