Как правильно соединяться с базой в нагруженных проектах?

Question

[igrishaev]

Во всех туториалах для Ноды и Экспресса банально создается одно глобальное подключение к базе (будем говорить про MySQL). Тут же, в коде приложения, описываются все вьюхи, которые этим соединением оперируют.

Меня же волнуют следующие моменты:

1) Как лучше сделать подключение доступным везде, в.т.ч. другим модулям? Объявлять его в globals или хранить в своем модуле?
2) Стоит ли хранить и поддерживать одно подключение или на каждый запрос создавать новое? В первом случае: что делать, если сервер БД разорвал его?
3) Читал про пул соединений, что нужно каждое соединение возвращать в пул, вызывая метод end(). Как сделать так, чтобы оно само возвращалось по завершении запроса? Потому что из одной вьюхи может быть много точек выхода, прописывать в каждой conn.end() утомляет.
4) Следует из 3) Пытался в проекте сделать пул, все соединения закрывал, сервер MySQL все равно показывает, что кол-во соединений растет. В чем может быть дело?

Спасибо.

Answer 1

[Stdit]

Однажды ошибка в этом месте (делать одно глобальное соединение с БД) стоила мне целых выходных. Сразу оговорюсь, что использовался не mysql, а модуль node-postgres, но суть должна быть одинаковой. При большой нарузке длинные запросы блокировали сокет базы, и как следствие работу всего сервиса. Поэтому нужно было срочно переделывать модель на Connection Pool, который на этапе разработки как-то ушел из внимания, так как на одном коннекте с небольшой бд тестовых данных вроде бы все было хорошо. :)

Пул может организовать несколько параллельных подключений, которые не будут мешать друг другу. По окончании запроса подключение освобождается и уходит в пул. При отсутсвии свободных слотов в пуле запрос ставится в очередь до освобождения одного из слотов. Что касается доступа в БД, я использовал простейший вариант — непосредственный доступ через модуль и его параметры подключения по умолчанию. В каждом файле, который нуждается в БД, делается require драйвера БД и через него происходит обращение в базу. При использовании пула надо обязательно следить за освобождением соединений (функция done). Количество соединений в пуле задается опцией настроек модуля.

О том, как использовать пул в pg, можно почитать здесь.

Comments

[Stdit]

Что касается «моментов выхода» — я их делаю в модели, по мере необходимости, после каждого запроса или транзакции и с вьюхами это никак не связано. Соединение в пуле остается «живым» (в частности, это дает возможность использовать prepared statements, что дает сильный прирост производительности). Закрывать соединение после каждого запроса я бы не рекомендовал.

[Алексей Сундуков]

Зачем писать велосипедный пуллер когда есть, к примеру, PgBouncer?

[Stdit]

Никто не собирается ничего писать, пулер соединений входит в дреайвер pg для nodejs.
И как этот PgBouncer решает проблему с занятым сокетом в nodejs?

Answer 2

[igrishaev]

Спасибо за ответ, буду переписывать проект под пул.
А все-таки, можно сделать так, чтобы соединение сам уходило в пул после выполнения запроса? Миддлварь или переопределить какую-то функцию?

Comments

[Stdit]

Пул должен сам это делать, это входит в его обязанности.

Функция done() в pg делает соединение свободным для следующего запроса (но не разрывает его, разумеется).
Если вы используете mysql, что наверное пул будет отсюда, и функция будет connection.end().

Если соединение не уходит в пул (драйвер кривой или вы не завершаете работу с сединением после получения ответа на запрос), то возможны два варианта:

1. Если вы установили лимит подключений, то после количества запросов === размеру пула будет блокировка работы с БД.
2. Если вы не установили лимит пула, то будет рост количества подключений до бесконечности / количетсва разрешенных дескрипторов.

Если все сделано нормально, то в ходе работы в конечном счете должно быть установлено количество соединений с базой, равное размеру пула, которое не будет изменяться в процессе работы сервиса.