Как быстро записать много записей в базу в laravel при этом проверяя уникальность?

Question

[alexh7854]

Здраувствуйте.

Я пишу приложение - словарь.
Нужно записывать в базу много записей (до 10 тысяч).

Я импортирую в базу новые слова, сейчас слова записываются в базу по одному, так как перед добавлением я проверяю нет ли слова в базе.

Сейчас это работает очень медленно.

Подскажите как это можно ускорить? Как не записывать слова по одному?

Comments

[Дмитрий]

Создать ключ на уникальность

Answer 1

[alexh7854]

Нашел решение

$myWords = Word::all();

        $wordsFromFile = [];

        foreach($words as $word => $translation)
        {
            $word = mb_strtolower($word);
            $translation = mb_strtolower($translation);

            $wordInDatabase = $myWords->where('word', $word)->first();

            if($wordInDatabase == null)
            {
                $wordsFromFile[] = [
                    'word' => $word,
                    'translation' => $translation,
                    'state' => 0,
                ];
            }
        }
        
        Word::insert($wordsFromFile);

Comments

[Дмитрий Ким]

При этом вы всё равно делаете 10000 считываний из базы на уникальность. А самое главное зачем? Делайте вставку без предварительной проверки.

[Oleg]

в postgres при вставке можно сделать проверку на конфликт, тогда запись не будет создана:

INSERT ... ON CONFLICT DO NOTHING;

UPD: ключ для уникальности обязателен.

[JhaoDa]

Нашел решение

Если не изучать матчасть, то ещё и не такие «решения» будут находиться...

[alexh7854]

JhaoDa, ну так покажи как надо

Answer 2

[Дмитрий Ким]

Можно создать большой запрос и воспользоваться
INSERT IGNORE
или
ON DUPLICATE KEY UPDATE