Golang mysql: Invalid Connection?

Question

[twintwin1003]

Есть веб-приложение, которое работает с базой данных через вот этот драйвер https://github.com/go-sql-driver/mysql
Все работает ОК, но как только подаю нагрузочное тестирование в несколько потоков (10+) при более чем 2 открытых соединениях с БД (DB.SetMaxOpenConns https://golang.org/pkg/database/sql/#DB.SetMaxOpen..., то начинают валиться ошибки

statement.go:24: Invalid Connection

Кто-нибудь сталкивался с таким, и какие есть варианты? Неужели приложение не может выдержать более 2 соединений с БД - не верю.

mysql> show variables like "max_connections";
Выдает 151

Comments

[Alex Safonov]

А сколько у вас max_connections в MySQL?

[twintwin1003]

Alex Safonov Wol_fi
mysql> show variables like "max_connections";

Выдает 151

Answer 1

[Oleg Shevelev]

Прослеживаем цепочку через документацию
1. https://github.com/go-sql-driver/mysql используется совместно со стандартным https://golang.org/pkg/database/sql/
2. находим в https://golang.org/pkg/database/sql/ функцию

func (db *DB) Query(query string, args ...interface{}) (*Rows, error)

3. видим что результат *Rows, находим эту структуру и изучая находим функцию
func (rs *Rows) Close() error
4. точно такую же функцию видим у Stmt
func (s *Stmt) Close() error
5. делаем вывод что надо закрывать соединения, в определённых случаях, принудительно

Подобный вопрос был на toster.ru уже разва два.
Вот тут можете прочитать дискуссию по поводу особенностей работы с MySQL в Golang: https://toster.ru/answer?answer_id=685014#comments...

Полезные ссылки для тех кто хочет разобраться в вопросе:
4gophers.ru/article/go-i-sql-bazy-dannyh
go-database-sql.org/surprises.html

Comments

[twintwin1003]

Круто! Спасибо)

Answer 2

[Wol_fi]

Кто-нибудь сталкивался с таким, и какие есть варианты?

Посмотрите конфиги сервера на предмет количества максимально активных подключений\потоков\и т.д.

Comments

[twintwin1003]

Как я понял, вся проблема в том, что приходит сразу много запросов.
Я написал HTTP-handler, который при входящем запросе делает запрос к БД "mysql> SELECT BENCHMARK(1000000,ENCODE('hello','goodbye'));"
Дальше банально с помощью curla сделал 10+ запросов в бекграунде и посмотрел через Workbench кол-во открытых соединений. Все ок. у меня висит N соединений.

Потом попробовал ограничить кол-во открытых соединений уже в приложении и повторил процедуру. Опять все ок. Запросы к бд просто стоят в очереди.

Но если же сразу направить большое кол-во параллельных запросов (на запись, например), то выскакивает данная ошибка.