Как разбирать csv запрос и заносить его в базу?

Question

[Алексей Алюшенко]

Здравствуйте, иметься csv таблица 1000 строк и mysql таблица

Сжатый пример двух файлов csv и конечной таблицы:

Необходимо как-то обработать данные csv и занести данные в таблицу, но только один раз для каждого значения.

Как я вижу решение:
1) Создать еще одну таблицу, куда заносить данные из csv по уникальном индексу, если занеслось, то делать запрос на апдейт первой таблицы
2) -//-, собирать данные в переменную и все вместе заносить одним запросом

Answer 1

[Макс]

откройте для себя insert on duplicate key update

Comments

[Алексей Алюшенко]

А как сделать проверку вводились ли эти данные уже, т.е. в первом и во втором есть
3 event2 device1
И мне нужно ввести эти данные только единожды, а во второй раз их проигнорировать

[Алексей Алюшенко]

Я понимаю, что для каждой строки можно делать insert on duplicate key update, но тогда буду заноситься одни и те же данные

[Макс]

Алексей Алюшенко: да. будут. Не хотите апдейтить - игнорируйте phpclub.ru/mysql/doc/insert.html (IGNORE). Если строка полностью копия - так правильнее

[Alexander]

Алексей Алюшенко: Добавить уникальность на поле. Или сразу на связку из нескольких полей. Тогда дубли добавлять не даст сама БД.

[Алексей Алюшенко]

Syschel: немного упрощу вопрос еще, мне нужна связка (diviceId, COUNT_of_unic)
т.е. есть два файла, которые на скриншоте слева, всего 8 уникальных id, но есть в них повторения id(3,4,5), вопрос в том, как их отсеять лучше? Они идут по порядку, можно например, брать из базы последнее значение занесенного id, и делать continue в цикле, пока не дойду до строки, которой еще нету в базе, и делать два запроса insert и update для каждой новой строки.
Тогда нужна таблица получиться:
device1 - 5
device2 - 3

Собственно верно ли такое условие?