Как вылечить зависание при импорте в бд?

Question

[on_click]

Всех с наступающим!

Есть массив с заказами на 7к элементов. Предварительно разбив, пытаюсь сложить в базу

foreach (array_chunk($orders, 500) as $o)
{
    \DB::table('orders')->insert($o);
}

Первые 500 строк записываются моментально но после, по какой-то причине зависает.
Если выставляю лимит в 3000 он первые так же быстро записывает, но ко второй итерации не приступает.
В обоих случаях после ожидания ловлю Maximum execution time...

Убрать лимит совсем не могу, будет ошибка Prepared statement contains too many placeholders

Laravel 8, mariaDb-10.4, php_7.4

Подскажите пожалуйста, в какую сторону смотреть, из за чего такое может происходить?

Comments

[Slava Rozhnev]

Что происходит если писать по одной строке?
Пожалуйста опубликуй серуктуру таблицы, возможно есть индексы или триггеры, которые замедляют вставку данных

[on_click]

Slava Rozhnev, попробовал записать по 100 строк, было очень долго, но сработало)

Вот структура, попробовал убрать внешние ключи, ничего не изменилось

[on_click]

Slava Rozhnev, попробовал убрать из массива колонку url, все загрузилось моментально
поменял тип поля на longText, все решилось =)

настолько длинных url в массиве не было, не понимаю как это возможно) спасибо еще раз!

[Slava Rozhnev]

Здесь проблема в том что при использовании `text` база данных не знает какой размер данных будет всталяться в поле и по этому не может действовать эффективно. Я всегда избегаю использовать `text` кроме случаев где нет других вариантов.
Попробуйте замениить `text` на `varchar(n)`

[on_click]

Slava Rozhnev, думал что загрузил с longtext, оказалось забыл раскомментировать строку, с этим типом все так же как с текстом, что логично исходя из того, что вы рассказали). varchar не хватает к сожалению, есть те что содержат больше 255 символов

странно, что первая итерация проходит моментально с любым типом, а последующие не хотят

попробовал обрезать строку до 255 и вставлять как vrachar, все повторилось. похоже проблема не с типом, а с данными, почему то думаю что с кодировкой

[Slava Rozhnev]

Вы можете использовать более 255 символов, например varchar(1024)

[on_click]

Slava Rozhnev, вот это поворот, откуда я взял что 255 это макс..) успехов вам в новом году)

[batyrmastyr]

on_click, когда-то максимум был таким, но в 5.5 или 5.6 его увеличили до 65 тысяч.

[JhaoDa]

on_click, код картинкой — нарушение правил.

Answer 1

[nokimaro]

Запускать операцию через командную строку (cli), а не через браузер.
https://laravel.com/docs/8.x/artisan#writing-commands

Comments

[on_click]

Спасибо, буду знать, но сейчас хотелось бы разобраться, почему так происходит

[nokimaro]

on_click, ну если погуглите текст ошибки - найдете много информации.
Но лучше придерживаться правила - все долгоиграющие скрипты запускать через консоль.
Можно увеличить время работы через настройку PHP и веб-сервера, но как-правило это плохая практика.

https://www.php.net/manual/ru/function.set-time-li...

[on_click]

nokimaro, нашел источник, проблема была в таблице, а именно в поле url, при записи в тип text получалось то, что получалось. Изменил на longtext все загрузилось за пару секунд. В комментариях к вопросу Slava Rozhnev объяснил почему.

upd, проблема все же не в типе поля а в данных которые я пытаюсь сложить