Как сделать оптимизацию в добалении данных через (spring, hibernate, postgres)?

Question

[Павел Талайко]

Доброе время суток, друг.
Необходимо добавлять очень большое количество данных и исключать повторение по полю. unique понятно.

Set<T> records= new HashSet<>();
for (T item: data) {
      final Boolean exists = repository.existsByTitle(item.getTitle());
      if (!exists) {
          records.add(item);
      }
}        
repository.saveAll(webResourceEntities);
repository.flush();

Как оптимизировать данные запросы. Какие техники добавления есть. Кто подскажет тот супер крутой. Записей миллионы. И каждую секунду добавляются по десяткам тысяч. Как работать?

Answer 1

[Melkij]

insert on conflict do nothing

Возможно view с instead of statement trigger'ом, в view писать через copy, триггер будет делать insert on conflict

Answer 2

[Сергей Горностаев]

Предложенный Melkij вариант намного эффективнее, но Hibernate такого не умеет, и если хочется решения на уровне ORM, то выбрать из базы множество заголовков, получить разность с множеством вставляемых записей, полученное сохранить в БД, предварительно подобрав эффективное значение параметра hibernate.jdbc.batch_size. Естественно, на title должен быть индекс.