В вашем главном fxml пишете подключение дочерних fxml
К примеру делаете один главный fxml в нем создете какой-нибудь vbox
яччейкам vbox задаете фиксированный размер и подключаете элементы окна разнесенные по разным контролерам
Так подключить дочернюю fxml-ку
<fx:include fx:id="тут идшник подключаемого fxml" source="(тут расположение файла+ его имя+ .fxml)"/>
В дочерних fxml указываете параметр fx:controller который будет ссылаться на дочерние контроллеры
не очень понятно объяснил если не заработает напишите скину пример