Почему в golang не очищается память?

Question

[Skelman]

Начал недавно изучать golang и столкнулся с не совсем понятным для меня поведением слайсом структур.
Вот к примеру простой код

package main

import "github.com/gin-gonic/gin"

type user struct {
	ID   int
	Name string
}

func main() {

	findUser()
	r := gin.New()
	r.Use(gin.Recovery())
	r.GET("/ping", func(c *gin.Context) {
		a := findUser()
		c.JSON(200, gin.H{
			"message": a,
		})
	})
	r.Run()
}

func findUser() int {
	var users []*user
	for i := 0; i < 100000; i++ {
		users = append(users, &user{
			ID:   i,
			Name: "ololo",
		})
	}
	length := len(users)
	var u []*user
	users = u
	return length
}

И каждый раз, когда я захожу на localhost:8080/ping то сильно увеличивается обьем использования озу, который по хорошему должен очищаться ос временем, но это не происходит. Кто знает как с этим бороться?

Comments

[dollar]

Для вставки кода есть специальна кнопка. Отредактируйте вопрос.

Answer 1

[Дмитрий Шицков]

Все отлично с GC в go. Память очищается, не возвращается системе, а переиспользуется программой до тех пор, пока в системе достаточно свободной памяти.

А это вообще что и зачем?

var u []*user
users = u

Comments

[Andrey Tsvetkov]

Мне кажется это обнуление массива

[Дмитрий Шицков]

Andrey Tsvetkov, ну, это я вижу. Но хочется понять сакральный смысл такого "очищения" для значения в переменной с локальной областью видимости.

[Skelman]

Это я проверял с очищением слайса как будут обстоять дела с памятью.

[Дмитрий Шицков]

Skelman, ну хорошо. Это, в общем, бессмысленное действие :)

[Skelman]

Дело в том, что память действительно не очищается, можете проверить сами. Если же вместо слайса использовать массив размерностью 100000, то тогда все идеально очищается моментально.

[Дмитрий Шицков]

Skelman, не удивительно, в целом. Память при каждом расширении слайса выделяется по-новой.

[Skelman]

Дмитрий Шицков, А как можно избежать такого поведения?
я уже пробовал и так сделать

func findUser() int {
	users := make([]user, 100000)
	for i := 0; i < 100000; i++ {
		users[i].ID = i
		users[i].Name = "ololo"
	}
	return len(users)
}

Все равно память растет бешеными пропорциями.

[Дмитрий Шицков]

Skelman, вопрос интересный, не смогу ответить на него. Поверхностно могу судить, что причины кроются в том что слайс и массив разные сущности - массив является переменной фиксированного размера, слайс - структура. Требуется чтение статей об устройстве слайсов и их взаимодействию с GC

Answer 2

[Andrey Tsvetkov]

Память очищается GC, всё норм, можно не переживать. Просто то, что бы очищено, не возвращается в систему. По прошествии какого-то времеги гошечка вернёт эти данные обратно, нужно просто подождать. Может 10 минут, может час, может больше, это время ничем не регламентируется

Comments

[Skelman]

Может память и очистится со временем, но к примеру если такой код пропустить через loadtest или autocannon, то памяти не хватает, даже 16 гб. Если же, к примеру, вместо слайса использовать массив, то все идеально очищается моментально

[Andrey Tsvetkov]

Мне кажется использование sync.Pool решит вашу проблему с памятью
Примерчик

[Skelman]

Andrey Tsvetkov, К сожалению не помогло, при одновременных запросах от 1000 юзеров, потребление памяти возросло на 3 гб

[Andrey Tsvetkov]

Вы создаёте слайс, длиной 100к элементов, структура каждого весит 24 байта, плюс содержимое строки, при одновременных 1000 запросов какой размер вы ожидаете? Просто возьмите калькулятор и посчитайте. У меня получилось 2.25 Gb без учёта строк в структуре. Такой размер и должен быть. Хватит паниковать)))

[Skelman]

Andrey Tsvetkov, Я не паникую, а пытаюсь разобраться)))) Каждый запрос - это вызов функции finduser. После ее завершения память, по хорошему, должна освободиться, но этого не происходит и в итоге забивается под завязку доступного места и система зависает (по крайней мере у меня). Например, когда я делаю такой код на ноде, то память сразу же освобождается, и система не выйдет из строя хоть при 10000 одновременных подключениях

const fastify = require('fastify')()

const findUser = () => {
  const users = []

  for (let i = 0; i < 100000; i++) {
    const user = {
      id: i,
      name: 'ololo'
    }
    users.push(user)
  }
  return users.length
}

fastify.get('/', (req, res) => {
  const user = findUser()
  res.send({ user })
})

fastify.listen('4040', () => console.log('run'))

[Andrey Tsvetkov]

Не хочу вас расстраивать, но в ноде невозможно принять 1000 одновременных запросов, потому что она однопоточна. Именно поэтому в ноде вы и не падаете

[Skelman]

Andrey Tsvetkov, здесь вы не правы ,запросы все обрабатываются, но дольше, чем в голанг. Вот по этому и захотелось выучить этот язык. Но столкнулся с данной проблемой с памятью, при чем изучая данный вопрос много натыкался на эту тему, но нигде не написано как ее обойти
https://ru.stackoverflow.com/questions/527779/%D0%...

https://habr.com/ru/post/325468/

[Andrey Tsvetkov]

Да, конечно все обрабатывабтся, но не параллельно, а последовательно, именно поэтому у вас нет скачка по памяти. В гошечке же на каждый http запрос создаётся отдельная горутина и все запросы обрабатываются параллельно, отсюда и такой рост по памяти. Что делать? Юзать пул воркеров, ограничивающий количество одновременных обработок. У мэйла на хабре есть хорошая статья про миллион одновременных соединений, в ней хорошо описана проблема и её решение

Answer 3

[Александр Павлюк]

Во-первых, уменьшите количество аллокаций, сразу создавая слайс нужной длины.
Вместо var u []*user используйте users := make([]*user, 0, 100000)

Во-вторых, какая у вас версия го? Мне на 1.12.1 не удалось воспроизвести такой резкий рост памяти.

Comments

[Skelman]

1.12.6

и еще заметил, что если не указывать указатель, но обрабатывается в 2 раза больше запросов.

users := make([]user, 0, 100000)