Как добавить записи в базу пачками (например по 100 шт.)?

Question

[Ilya Loopashko]

Доюрый всем. У меня есть две базы, мне нужно из одной базы передать данные в другую, записей 17 тысяч. Мне нужно передать данные пачками, есть метод chunk() который разделят данные, он почему-то у меня не работает, где ошибка не пойму, возможно я не правильно оформил.

Как передать данные полностью , я разобрался.

Вот код когда передаем все сразу

$groups = DB::connection("oracle")->table('STAT.ANSWERS')->get();

        foreach ($groups as $group) {
            DB::connection()->insert('insert into stat (title) values (?)', [$group->competence]);
        }

А вот код для разбития записей, и он не работает

$groups = DB::connection("oracle")->table('STAT.ANSWERS')->get();

$groups->chunk(100, function ($groups) {
            foreach ($groups as $group) {
                DB::connection()->insert('insert into stat (title) values (?)', [$group->competence]);
            }
            
        });

Comments

[Алексей Уколов]

Приведённые примеры кода по сути ничем не отличаются друг от друга и не вставляют ни «всё сразу», ни «пачкой», а каждую строку отдельно.

[Ilya Loopashko]

Алексей Уколов, Да, правильно, каждую строку, не правильно выразился. В первом способе он подрят вставляет, все записи, а я хочу разбить, определенное количество строк чтобы вставлял.

[JhaoDa]

Ilya Loopashko, документацию начни читать.

[Ilya Loopashko]

JhaoDa, Обалдеть и как же я сразу не догадался. Жалко Оскары не вручают за такие вот «качественные» ответы, ты наверное сразу в пяти номинациях победил бы.

[JhaoDa]

Ilya Loopashko, вот и мне удивительно, как ты до сих пор не догадался начать читать документацию. Даже поясню: ты, видимо, в ней что-то ищешь (а что можно искать, не понимая?) или читаешь только то, на что дали ссылку. Возьми и прочитай ВСЮ документацию. Разом.

[Ilya Loopashko]

JhaoDa, Я оказался не прав, прости. Все номинации твои.

Answer 1

[rPman]

Чтобы данные быстро добавить в базу данных нужно следующее:
* делать все операции в одной транзакции (сотни вставок в пределах транзакции) т.е. стартуешь транзакцию, в цикле создаешь 100 записей, закрываешь транзакции, повторить с новыми данными.
* отключить на время вставки индексы и констрейнты, особенно это имеет смысл когда переносится действительно много данных, само собой после включить (если будут конфликты в данных то индексы или констрейнты не добавятся с ошибкой)

p.s. larvel и oracle? чувствую некоторое несоответствие, как минимум ценовое
Когда то давно давно я видел попытки вытащить в веб базу на оракле, получилось не очень быстро и в качестве гениального решения была прослойка на mysql ;)
Очень смешно но тогда был вопрос 'политический', обязательно было надо пользоваться oracle и никак иначе.

Comments

[Ilya Loopashko]

Спасибо большое за ответ. Я делаю тестовый проект, в рамках изучения laravel. Я как раз из базы Oracle достаю одну таблицу которую помещяю в mysql и уже с ней буду работать.

[JhaoDa]

Ещё можно было прочитать документацию и узнать, что ларавел умеет вставлять сразу пачку данных одним запросом, но это ж надо было читать...

[Алексей Уколов]

Ilya Loopashko, а как этот ответ, который вы отметили решением, относится к коду, который вы описали? В чём вообще проблема-то была изначально? Вы в chunk добавили транзакцию и всё внезапно магически заработало?

[jazzus]

Алексей Уколов, для принятия ответа решением достаточно доступа к синей кнопке и желания автора на нее нажимать.