Нашол в чем проблема.
Vue3 по умолчанию идет без модуля отвечающии за обработку шаблонов в runtime, а это значит что мне нужно "компилтровать" шаблоны в момент сборки.
Для rollup-а есть плагин
rollup-plugin-vue, для webpack-а есть
vue-loader. Еще можно использовать vue-cli чтобы "компилировать" отдельные vue компоненты.
Второе решение, это использовать Vue c модулем для шаблонов. Это можно сделать так:
import Vue from 'node_modules/vue/dist/vue.esm-bundler';