Если вы хотите создать дополнительные окна для приложения, то core.window говорит:
Kivy supports only one window per application: please don’t try to create more than one.
Если вы хотите несколько закладок внутри приложения, то подойдет tabbedpanel, еще может пригодиться popup. Также есть довольно причудливый pagelayout.