Держать 1 соединение правильнее. Но не всегда хватает. И оно рано или поздно отвалится и нужно будет переподключатся, так как база имеет лимит на простаивающее соединение. Можете почитать о connection pool в Node.js, как их менеджментить и пользоваться.
Можете об этом не задумываться и использовать query-build'еры, которые сами делают всё, что нужно с соединением. Я предпочитаю
Knex - очень прост в освоении и удобен в использовании. Поддерживает callback'и, then и async/await.