vayho

Удалил ответ, думая что product_id все же уникален но нет.
У вас на скриншоте в IN запросе product_id 161 и 159, у них одинаковые value = 80, в такой ситуации MySQL выдает неопределенную выборку. Вот дополнительная информация:
stackoverflow.com/questions/1591909/group-by-behav...

Не используйте * в выборке, определяйте явно поля которые хотите видеть. Используйте агрегацию в GROUP BY либо делайте GROUP BY по уникальному полю если хотите видеть DISTINCT.

Category parentCategory = entityManager.find(Category.class, 1);

Здесь вероятно вместо 1 нужно поставить parentId.

И ответ на ваш вопрос: вместо ручного инкремента largestIndex вам нужно использовать id последней добавленной записи.

Кстати раз уж вы используете hibernate то посмотрите в сторону Closure Table, этот паттерн как мне кажется более органично смотрится с hibernate.

Вот пример кода с id(обязательно обернуть в транзакцию):

public ResponseMessage addCategory(List<Category> newCategoryList, int parentId) {
    Category parentCategory = parentId == 0 ? null : entityManager.find(Category.class, parentId);

    for (Category category : newCategoryList) {
        entityManager.persist(category);
        entityManager.flush();
        if (parentCategory != null) {
            category.setPath(parentCategory.getPath() + "." + category.getId());
            category.setParent(parentCategory);
        } else {
            category.setPath(String.valueOf(category.getId()));
        }
    }
    return new ResponseMessage(true, " ");
}