Как хочешь таки  подключай. Конфиг будет работать.
Но я бы рекомендовал подключить его как loader, а его вывод уже обрабатывать через babel. Но хз зачем тогда нужен babel, разве что полифилы подключить. Так как сам typescript все транфирмирует в соответствии с настройками.
rules: [
      {
        test: /\.[jt]+sx?$/,
        use: "ts-loader",
        exclude: /node_modules/,
      },
}