Как ускорить множество INSERT в Mysql?

Question

[Влад]

У меня php скрипт выполняет цикл while, который повторяется 10 000 раз и каждый раз выполняет по 1 INSERT в базу данных.
В итоге время выполнения скрипта почти до минуты доходит.. можно ли как-то ускорить?

Answer 1

[index0h]

Можно запихнуть все это дело в транзакцию, так индексы пересчитаются 1 раз.

Правда я бы рекомендовал пакетную вставку в цыкле. В смысле набить запрос на N вставок одним insert, выполнить, далее еще раз наполнить и выполнить и т.д.

Answer 2

[Aleksey Ratnikov]

Уложите данные в CSV (при помощи fopen(), fputcsv()), а затем воспользуйтесь LOAD DATA INFILE (для MySQL) или BULK INSERT (для SQL Server). Будет ультра быстро, поскольку описанные выше инструкции были созданы именно для массовой загрузки.

Answer 3

[Артём Каретников]

Конечно. Не делать это в цикле, а делать пакетно. Кстати, хорошо бы код показывать и объяснять, зачем такой цикл необходим.

Comments

[Влад]

я делаю запрос к Api контакта и в ответ получаю 25 массивов. Каждый массив может включать в себя до 500 записей (ид, имя, город).
Каждую эту запись мне и необходимо занести к себе в mysql базу. Как это сделать пакетно?

Если я покажу кол, dds наверное с ума сойдёте) pastebin.ru/p6EI7O5S

[Артём Каретников]

как минимум можно попробовать запихнуть это все во временную таблицу, а потом

insert my_general_table (id, my_value)
select id, my_value from my_temporary_table;

Answer 4

[Zhainar]

Что мешает собрать один большой запрос и сделать один запрос:

INSERT INTO MyTable ( Column1, Column2 ) VALUES
( Value1, Value2 ), ( Value1, Value2 ), ( ValueN, ValueN )

Comments

[Влад]

Не знал о такой записи.. то есть сначала тем же циклом получить все данные, а потом все данные подставить в 1 sql запрос?

[Zhainar]

Влад: ну да, делаете одну большую строку и отправляете запрос. Если данные безопасны, то смело можно юзать.

[Night]

Стоит только побеспокоится о размере самого запроса. Он не должен быть больше чем max_allowed_packet у MySQL

Answer 5

[shagguboy]

LOAD DATA INFILE