Как выполнить большой insert?

Question

[Александр Владимирович]

Привет!
Необходимо вставить в базу 100 млн. строк
запросом типа такого

INSERT IGNORE INTO database.table (
                    `id`, 
                    `category_id` ,
                    `data`
                ) VALUES 
               (1,2,"данные"),
               (2,3,"данные2"), 
                    ... ,
               (1000000000,10000000003,"данные1000000000");

как это сделать в doctrine и symfony (4)

Comments

[Довольный Айтишникъ]

Не пойму что мешает эти данные вставить с помощью штатных средств базы (mysql или что там) вместо того, чтоб мучать doctrine и symfony?

[Александр Владимирович]

Довольный Жизнью, Ничто не мешает, но придётся создавать соединение mysqli, и прочее лишняя работа, я думал может можно штатными средствами

[Довольный Айтишникъ]

Александр Владимирович, значит подождем мнение специалистов, вдруг действительно что-то в этом есть.

Answer 1

[FanatPHP]

Как можно узнать из недавно заданного вопроса, Доктрина не поддерживает подобный синтаксис.

Удивляет здесь другое.

Ничто не мешает, но придётся создавать соединение mysqli, и прочее лишняя работа, я думал может можно штатными средствами

Чтобы "создать соединение mysqli" и выполнить запрос нужно меньше времени, чем писать вопрос на тостер.

Не говоря уже о том, что для одноразовой вставки ни "mysqli", ни РНР вообще не нужен - все делается через консоль mysql.
Если же запроса кактакового нету, а есть только текстовый файл с данными, то они вставляются через LOAD DATA INFILE, опять же без малейшего участия Симфони, Доктрины и РНР

Comments

[Александр Владимирович]

Да вопрос не во времени, а в получении знания, как делают данную задачу в данном окружении. Если такое не реализуемо, будем делать по другому. Данные берутся в результате парсинга большого xml весом 2.1 Гб, задача ежедневная. Ну раз уж у нас тут симфони и доктрин, думаю стоит поинтересоваться, как это сделать текущими средствами, а уж потом добавлять что-либо.

[FanatPHP]

Александр Владимирович, все эти вводные желательно добавлять в вопрос, а не выдавать по чайной ложке, как партизан на допросе.
В целом, Доктрина очень мало подходит для работы с массивными данными, а Доктрина ОРМ - еще меньше.
Из текущих средств в доктрине есть только вставка одной строки.

Answer 2

[Вадим]

Никаких отдельных подключений создавать не надо.
https://symfony.com/doc/current/doctrine/dbal.html

Я собственно так выборки делаю для гридов, зачем объекты вытягивать, если они не нужны.