Импорт массива данных в таблицу mySQL?

Question

[G0rDi]

Доброе время суток.


Есть задача отпарсить TXT и обновить данные в таблице используя результат парсинга.

Первая подзадача решается без проблем, а вот вторая задача решается, но решение не совсем корректное на мой взгляд.


TXT:

001-03-0027,4000.50,5<br/>
001-03-0031,8000.50,6<br/>
001-03-0028,12000.50,7<br/>
001-03-0033,16000.50,8<br/>
...<br/>

Таблица:

CREATE TABLE properties(<br/>
 ...<br/>
 id_1c VARCHAR(255) DEFAULT NULL,<br/>
 price FLOAT DEFAULT 0,<br/>
 count INT(11) DEFAULT 0,<br/>
)<br/>

Обрабатывая файл построчно я получаю 3 переменные $array['id_1c'], $array['price'], $array['count']. Которые запихиваю в запрос:

<br/>
'UPDATE properties SET price='.$array['price'].', count='.$array['count'].' WHERE id_1c = '.$array['id_1c'];<br/>

В итоге получаю количество запросов прямо пропорциональное количеству строк в файле, а их там 5000 шт.

Возможно ли как то оптимизировать данный процесс?

С учетом того, что требуется проводить мониторинг успешности обновления данных:

ID 001-03-0027: обновлен успешно<br/>
ID 001-03-0031: не найден в базе<br/>
ID 001-03-002: не найден в базе<br/>
ID 001-03-0033: обновлен успешно<br/>

Спасибо.

Answer 1

[JeanLouis]

Последовательность действий:

1. Прочитали сначала ID записей из файла. Выяснили SELECT'ом какие ID есть в базе данных, а какие нет. Это для мониторинга.

2. Загрузили файл в таблицу с помощью " LOAD DATA INFILE" и ключа «REPLACE».
Смотрите синтаксис этой комманды здесь: www.mysql.ru/docs/man/LOAD_DATA.html

Вот и все, никаких лишних нагрузок. Это будет работать моментально.

Если данных совсем много будет, то поэкспериментируется с дополнительным командами:

SET autocommit = 0;
SET UNIQUE_CHECKS=0;
SET foreign_key_checks = 0;
SET sql_log_bin = 0;

// ваш запрос здесь

commit;

В моей задаче все они используются для ускорения загрузки большого количества данных.

Comments

[G0rDi]

По моему отличное решение, возьму на вооружение. Спасибо!

Answer 2

[Анатолий]

только теория!

сделать мульти инсерт в другую таблицу всех записей одним запросом, а потом сделать нечто такое:

UPDATE table1, table2
SET table1.field1 = table2.field2
    table1.field2 = table2.field2
WHERE table1.id = table2.id

я не знаю наверняка сработает ли такой апдейт, но в эту сторону я бы смотрел.

Comments

[gaelpa]

Или mysqlimport во временную, а потом работать апдейтом.

[G0rDi]

А как в таком случае обработать успешность обновления каждого ID

[Анатолий]

$ids = "SELECT id from table1;";
SELECT id FROM table2 WHERE id NOT IN ( $ids );

Все что выберется во второй выборке — успешные, остальные нет.
Можно и одним запросом, но я опыть же не помню наизусть.

[Анатолий]

Извеняюсь, вторая выборка выберет неуспешные =) которые не обновились

Answer 3

[pentarh]

А чем вас не устраивает 5к запросов? Абсолютно штатное количество.

Это множественные инсерты можно запихнуть в один запрос (не длиннее чем max_allowed_packet), а апдейты прийдется пускать паравозиком )

Comments

[G0rDi]

Избыточная нагрузка на сервер. У заказчика дешевый хостинг…

[pentarh]

Что то хостинг вообще какой то экстра дешевый. Вы лучше индекс на столбец в условии WHERE поставьте, если его там нет. А так, тут нечего оптимизировать.

[G0rDi]

Стоит индекс. Ладно буду экспериментировать по ходу работы. Будет перегрузка буду думать ))
Всем спасибо.