Как хочешь таки подключай. Конфиг будет работать.
Но я бы рекомендовал подключить его как loader, а его вывод уже обрабатывать через babel. Но хз зачем тогда нужен babel, разве что полифилы подключить. Так как сам typescript все транфирмирует в соответствии с настройками.
rules: [
{
test: /\.[jt]+sx?$/,
use: "ts-loader",
exclude: /node_modules/,
},
}