Как вставить только уникальные значения з csv в sqlite?

Question

[SashaN69]

import sqlite3
import csv

con = sqlite3.connect("db.db")
cur = con.cursor()
a_file = open("2к тест_Лист1.csv")
try:
    with open("2к тест_Лист1.csv") as csvfile:
        filereader = csv.reader(csvfile)
        for row in filereader:
            cur.execute("INSERT INTO Test VALUES (NULL, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)", row)
except:
    pass
    
con.commit()
con.close()

Как можно вставить только уникальные значение в базу sqlite , если csv файл на 3m строк.Я думал можно просто проверить циклом на повторение ,но возможно есть способ более эффективный.

Answer 1

[Сергей Карбивничий]

Создаете пустой список. Далее в for row in filereader: проверяете, есть ли row в списке. Если нет, то добавляете row в список и в базу. Если есть row в списке - то ничего не делаете.
Как удалить все дубликаты в бд?

Answer 2

[Dimonchik]

insert ignore

и индекс уникальный