Кеширование запроса в Mysql такое возможно?

Question

[Александр Сисюкин]

Есть скрипт импорта данных из cvs файла(обьемом около 2 миллионов строк) в таблицу mysql. Запустил его на ночь в результате скрипт отработал то есть процесса нет на сервере, но зайдя в таблицу я вижу следующию картину в таблицу добавилось только 800 тысяч и продолжает дальше прибавляться, не пойму как это возможно скрипт уже не выполняеться а данные заливаются.

Answer 1

[Александр Холодович]

Зависит от скрипта импорта. В MySQL есть "отложенная запись" (низкоприоритетная). Оно в память себе затащило то что нужно записать (видимо, там построчно выполняется запись), а записывает "как успевает". Но 2 миллиона строк - это очень мало. Должно было отработать очень быстро, если логика не извращённая или система не меленная.
Заливать большие объёмы надо "пачками".

Comments

[Александр Сисюкин]

а не могли бы дать ссылку с примером как залить пачками)

[Александр Холодович]

Александр Сисюкин: вместо

INSERT INTO tbl_name (a,b,c) VALUES(1,2,3);
INSERT INTO tbl_name (a,b,c) VALUES(4,5,6);
INSERT INTO tbl_name (a,b,c) VALUES(7,8,9);

можно (а в вашем случае, скорее всего и "надо") писать:

INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);

Answer 2

[Григорий Есин]

Заливку из csv можно сделать через "load data local infile": реактивная штука. 2 миллиона кортежей --- мелочи.

Comments

[Александр Сисюкин]

Да иммено таким способом решил свою проблемму ))

[Александр Сисюкин]

Только странная ерунда, счетчик в phpmyadmine глучит, всегда разное пишет. Пришлось count проверять