Создание нескольких соединений к бд MySQL, расточительно?

Question

[Алексей]

Генерирую большое кол-во данных из бд. Формирование происходит циклически. Синхронная версия работает около 6 секунд, после распараллеливания и улучшений добился всего 1 секунды. Но из-за этого для каждой итерации приходится открывать новое соединение с бд, а потом закрывать. Потому что чтение из бд несколькими потоками из одного коннектора нельзя, выдается ошибка. Следует что-то изменить или можно использовать данный вариант, который я придумал?

Comments

[Василий]

Под "новым соединением" вы имеете ввиду транзакцию?

[Алексей]

Василий: приходится открывать новое подключение к БД и соответственно все остальное

[Oxoron]

Алексей: Необязательно закрывать соединения. Тем более, у вас их немного. Главное - предусмотрите механизм их аварийного закрытия, чтоб по исключению они штатно закрывались\освобождались, после чего пересоздавались.

Answer 1

[Алексей]

Все, решил данную проблему. Оказалось, что MySQL неявно создает пул потоков и при закрытии держит коннекторы. Поэтому после закрытия и следующего открытия коннектора время не тратится и ресурсы также. Больше времени уходит на первые открытия, а потом все идет очень и очень хорошо. Затем фоновый поток в течение трех минут закрывает пул, если тот не используется. Если нужно иметь хотя бы один из потоков пула, можно указать минимальное число потоков в пуле. Подробнее есть в технической документации по MySQL. Спасибо всем, кто подсказывал, особенно тем, кто советовал смотреть в сторону пула соединений.

Answer 2

[Пума Тайланд]

С учетом выполнения 1-6 секунды накладными расходами на открытие и закрытие соединений можно пренебречь.

Answer 3

[AxisPod]

Пул коннектов к БД и всё. На запрос берете коннект, выполнили запрос, вернули коннект в пул, вот и всё.

Comments

[Алексей]

где можно почитать про данный вид соединений?

[AxisPod]

В первую очередь посмотреть в используемой библиотеке. А на деле это потокобезопасный контейнер объектов коннектов к БД. К примеру за основу можно взять www.codeproject.com/Articles/710384/Creating-a-cus...

Answer 4

[SagePtr]

Можно сделать пул потоков (на каждый поток своё соединение). После выполнения потока не завершать его, а ожидать, пока он вновь не понадобится. Но и не забывать при этом, что сервер БД не сможет параллельно обрабатывать больше, чем у него на это есть ресурсов.