Как быстро загрузить данные в бд с проверкой каждой записи на уникальность?

Question

[alexh7854]

Здравствуйте.

На сайте нужно загружать данные из csv файла в базу. При этом каждую строку из csv файла нужно проверять в базе.

Данных не должно быть в базе, в базу загружаются только новые данные.

Подскажите как правильно это реализовать?

Я пока реализовал это вот так и думаю что неправильно, загрузка очень медленная, а если в базе много данных, то запрос заканчивается 502 ошибкой.

$wordsFromFile = array_map(function($data) { return str_getcsv($data,";");}, file($request->file('text_file')) );

        // Все слова из базы
        $myWords = Word::all();
        $dbWords = [];

        foreach ($myWords as $myWord) {
            $dbWords[] = $myWord->word;
        }

        $wordsResult= [];
        foreach($wordsFromFile as $key => $data)
        {
            if($key == 0) {continue;}

            $word = isset($data[0]) ? mb_strtolower($data[0]) : "empty_field";
            $translation = isset($data[1]) ? $data[1] : "empty_field";
            $state = isset($data[2]) ? $data[2] : 0;

            //$wordInDatabase = $myWords->where('word', $word)->first();

            if(!in_array($word, $dbWords))
            {
                $wordsResult[] = [
                    'word' => mb_strtolower($word),
                    'translation' => mb_strtolower($translation),
                    'state' => $state,
                ];
            }
        }

        Word::insert($wordsResult);

Answer 1

[coderisimo]

При использовании INSERT IGNORE - запись добавится только если он уникальна.

Comments

[DevMan]

рили?

[coderisimo]

DevMan, шуре!

Normally INSERT stops and rolls back when it encounters an error.
By using the IGNORE keyword all errors are converted to warnings, which will not stop inserts of additional rows.

MariaDB until 5.5.28
MySQL and MariaDB before 5.5.28 didn't give warnings for duplicate key errors when using IGNORE. You can get the old behaviour if you set OLD_MODE to NO_DUP_KEY_WARNINGS_WITH_IGNORE

не?

[DevMan]

coderisimo, не - ключевое здесь duplicate key.

[coderisimo]

Ну, так надо задать в БД данных уникальный ключ по всем трем полям. И грузить бочками. И в случае повторов данные будут игнорироваться.

В общем , я бы попробовал использовать это или INSERT...ON DUPLICATE KEY UPDATE. . Т.е не делать проверку в коде, а свалить все на многострадальный MYSQL .

[DevMan]

coderisimo, верно. прост нужно было написать про уникальный ключ, а не просто инсерт игнор.

[coderisimo]

DevMan, мне бы хотелось, чтобы мой ответ был наводящим, чтобы вопрошающий пошел в гугль-бум , почитал там всякое и уже тогда получил бы не только конкретный рецепт , но может и какие-то доп знания. Но, увы, так бывает крайне редко ))))

[coderisimo]

DevMan, похоже, данное обсуждение было интересно лишь нам ))))))