Как оказалось был баг в библиотеке. ребята все исправили - но возможно кому-то пригодится ответ. Если вы хотите удалить строку из JFXTreeTableView, вы должны удалять элемент из ObservableList! Как пример:
создаем ObservableList, содержащий коллекцию того что мы будем пихать в таблицу :
ObservableList<Company> companies = FXCollections.observableArrayList();
companies.add(new Company(1, "Test company", "test c.","1231123", 1,1));
Создаем для нашей таблицы root и пихаем его в таблицу:
create root :TreeItem<Company> root = new RecursiveTreeItem<Company>(companies,RecursiveTreeObject::getChildren);
treeView.setRoot(root);
теперь когда мы хотим удалить строку из таблицы, мы просто удаляем его из листа:
companies.remove(treeView.getSelectionModel().selectedItemProperty().get().getValue());
П.С.
treeView.getRoot().getChildren().remove(treeView1.getSelectionModel().selectedItemProperty().get());
- удалить строку таким кодом не получится. да строка пропадет с основного вида таблицы - но при группировке любой колонки - вы увидите эту удаленную строку.