Как перенести данные из одной таблицы в другую?

Question

[drka]

ребят есть 5 таблиц. Одна временная в неё первоначально заносятся данные, другие основные в них нужно перенести информацию в зависимости от того, что гружу. вот собственно вопрос: необходимо из temp_table перенести все данные в main_table, учитывая дубли. если попался дубликат - обновить все данные в строке.

структура таблиц одинаковая:

id int(11) not null autoincrement,
xml_id varchar(128) not null,
name text not null,
quantity int(11) not null,
price double(5,2) not null

p.s заранее извиняюсь за оформление, пишу с телефона - неудобно.
p.p.s данных очень много ( 50-500к строк)

Comments

[Dimonchik]

www.ozon.ru/context/detail/id/2151095 пригодится

[drka]

dimonchik2013: исчерпывающий ответ. спасибо. без вас бы не додумался.

Answer 1

[betal]

REPLACE INTO ... FROM SELECT ...
INSERT INTO ... FROM SELECT ... ON DUBLICATE ...

Comments

[drka]

replace into не подходит. пробовал. допустим загрузил в чистую таблицу 50к записей. пробую ещё раз выгрузить. поставил строке xml_id флаг unique . получается так что id начинает отсчёт с 50001 .

[drka]

а мне нужно что бы данные апдейтились

[betal]

т.е. primary ID не совпадает для одинаковых элементов во временной таблице и основной?

[drka]

совпадают. на всякий случай unique поставил ибо прочитал в документации)

[betal]

ну у REPLACE алгоритм какой, если есть элемент с этим ID, мы его апдейтим, если нет добавляем. В вашей задаче не нужно добавлять новый элемент если его нет в основной таблице?

[drka]

поправлю) не апдейтим а заменяем соответственно он удаляет и добавляет обновлённую запись с id+1 от конечного. и так далее

[betal]

Тогда можно попробовать второй мой вариант.
INSERT INTO ... FROM SELECT ... ON DUBLICATE KEY UPDATE id = LAST_INSERT_ID() + 1
или его разновидности, но я не уверен в его поддержке для данной задачи.

[betal]

Ну или MAX(id)+1, но это уже менее производительно.

В крайнем случае, если одним запросом не выйдет.
Большая часть производительности теряется на перестройку индексов при поочередной загрузке, можно отключить их, команду погуглить.

т.е. Делается:
1)Отключаем индексы (не удаляем а именно отключаем)
2 делаем все операции
3) включаем индексы

[drka]

betal: то есть запросами это не решить?

[betal]

если только поиграться с ON DUBLICATE KEY UPDATE навскидку, может какие то функции и тригеры писать. Но с ними я не знаком, не подскажу.

[drka]

betal: Окей, спасибо за ответы! дальше буду копать