Я делал музыкального бота на JavaScript и была похожая ситуация. Возникала когда бот перезаходил в голосовой канал.
Надо уничтожать соединения не с помощью .disconnect(), а с помощью .destroy()
А также на всех операциях с voice, нужно писать к примеру await voice.pause() Так как голосовой канал это асинхронщина.