Соединение с MySQL не "бесплатное" с точки зрения времени.
Так как помимо соединения, происходит "хендшейк" и аутентификация пользователя, кроме того зачастую еще идет запрос с выбором кодировки соединения, а только потом сам запрос. Т.е. получается 6 пакетов вместо 2-х на один запрос.
Поэтому кроме особых случаев лучше использовать одно соединение для всех запросов. Несколько соединений можно использовать, если работать с MySQL асинхронно (например, делать бэкап в несколько потоков, или контролировать длительный запрос), но это уже не для начинающих.
