Как в цикле производить select и/или insert запросы к базе (цикл примерно 50к итераций)?

Question

[Максим]

Необходимо в цикле производить select и/или insert запросы к базе, цикл примерно 50к итераций, интересует вопрос на сколько высока будет нагрузка на базу и будет ли вообще?
Вообще уйти от цикла не получится, потому что все же некоторые значения придется insert'ить.
База - MySql 5, обращаться планируется всего к 2 таблицам типа myisam.

Answer 1

[Александр Зеленин]

надо собирать запросы

$sql = 'insert `table` ( `param1`, `param2` ) value ';
foreach ( .... as $data ) {

$sql .= '( "value1", "value2" ),';
}

$sql = rtrim( $sql, ',' );

примерно так.
возможно не все 50000 в один запрос, а например по 1000/10000. потестируйте.

Comments

[Максим]

спасибо, думал об этом, но это если insert, а как быть с select? У меня с начала идет запрос select, a далее, на основании полученных данных, будет либо insert либо update

[Александр Мелеховец]

insert ... on duplicate key update не подойдёт?

[Александр Зеленин]

@go3l337 видимо да, insert ... on duplicate key update

[Максим]

@zelenin @Blast с insert и select разобрался, осталось update - вариант представленный вами выше не подходит, так как в insert ... on duplicate key update, insert не нужен, видел ближайшее решение на SO через CASE, но оно уж очень громоздкое, от сюда вопрос, будет ли большая нагрузка из простого update в цикле ?

[Александр Зеленин]

@go3l337 вы не выдумывайте, что вам нужно, а что нет. Уточните задачу - что селектом вытаскиваете, что инсертите, что обновляете, какова структура таблицы.

Answer 2

[mobi]

Копите данные и вставляйте их одним запросом (можно обрамить в ALTER TABLE DISABLE KEYS / ENABLE KEYS). Это же касается и SELECT - если есть возможность, сгруппируйте запросы там, где это возможно, и разбирайте потом результат "вручную".

Answer 3

[Николай Турнавиотов]

Что-то в инфраструктуре из двух баз и прослойки надо исправлять, как мне кажется.

Answer 4

[ThunderCat]

Может делать так? Тут после роллбэка еще раз делаем запрос тот же, и так или по кругу пока не вставится, или писать свою обработку ексепшна.
А данные да, надо пачками формировать, штук по 500 нормально, при хорошем сервере это пару сек даже с 1000к записей, если разделить слипами - вообще думаю никто не заметит особых тормозов.