Попробуй просто делать wss.close(), где wss - экземпляр WebSocketServer, когда количество коннектов достигнет лимита. Потом, если какой из коннектов закрывается, создавать новый WebSocketServer.
либо, если есть лимит, в обработчике события wss.on('connection' ...) сразу закрывать вновь созданный коннект.