Не знаю как там в NodeJS, но вообще пул соединений это просто кеш. Вместо того чтобы каждый рас подключатся и отключатся от БД делают сразу несколько соединений и закидывают их в пул(это может быть например какая то синхронизированная очередь). При надобности поток вытягивает конекшин из пула, выполняет какие то операции с БД и забрасывает обратно. Таким образом получаем прирост производительности.