Автоматическое добавление в бд миллиона записей. Что сделано не правильно? Поможете разобраться?

Question

[dvoch]

$db = mysql_connect ("localhost","root","");
mysql_select_db ("test",$db);

$z = mysql_query("SELECT * FROM t", $db);
$rows = mysql_num_rows( $z );

echo $rows;

$i = $rows;
while ($i = 1000000) {
    $rz = mysql_query ("INSERT INTO t(ticket_id) VALUES(rand()*1000000)");

};

$start = microtime(true);
# ...
$time = microtime(true) - $start;
printf('<br>Скрипт выполнялся %.4F сек.', $time);

Добавлять в бд в таблицу до тех пор, пока количество не станет миллион.
К сожалению, происходит добавление без условия. Добавляет и добавляет.
Правда очень долго и падает где то на 700 тыщ. потом фатал еррор хнык.(в браузере пишет) mysql не настраивал. все работает по умолчанию. Open Server 5.2.2.

Буду очень признателен за помощь и любые мысли по этому поводу. :) Или, если вам совсем скучно, тоже пишите. :)
Сяп

Answer 1

[Евгений]

Функции mysql_* вообще устаревшие
while ($i = 1000000) это тоже самое что while (true)

Comments

[Максим]

вы же не знаете какую версию php он использует !

[Евгений]

Максим Жаров: если не 4, то deprecated )

[Максим]

Евгений: да и в 5 той не deprecated

[dvoch]

Подскажите, как правильно написать, чтобы добавляла до тех пор пока не будет миллион в базе. никак не получается :(

[Евгений]

dvoch:
$i = $rows;
while ($i < 1000000) {
$rz = mysql_query ("INSERT INTO t(ticket_id) VALUES(rand()*1000000)");
$i++;
};

[dvoch]

Евгений: Спасибо огромное! :) оно... никак не мог понять почему не считает :) забыл прибавлять :)

[Виталий]

Я думаю автору вопроса очень надо отложить свою пректику и заняться изучением теории , основы пхп надо знать .

[dvoch]

Евгений: Только один вопрос, почему при выполнении, 79760 всего, Запрос занял 0.0003 сек. в запросе поставил 80000. не добирает. до ста тысяч тоже. вообщем все большие не доделывает. ошибок не выдает. а маленькие делает норм

[Алексей]

Евгений: Немного поправлю вас:

$i = 0;
while ($i < 1000000) {
$rz = mysql_query ("INSERT INTO t(ticket_id) VALUES(rand()*1000000)");
$i++;
};

либо

$i = $rows;
while ($i > 0) {
$rz = mysql_query ("INSERT INTO t(ticket_id) VALUES(rand()*1000000)");
$i--;
};

[Евгений]

Алексей: не надо меня поправлять, надо такое делать процедурой )

Answer 2

[Кирилл Арутюнов]

Во-первых, у вас в while должно быть условие, а у вас присваивание.

Во-вторых, попробуйте партиями вносить данные, тысяч по 300-400.

В-третьих, у вас может в php.ini стоит лимит на время выполнения скрипта и этот лимит превышается, поэтому скрипт крашится.

Comments

[dvoch]

Условие - присваивание. Не понял, учусь только, но думаю проблема в этом. надо разобраться. Спасибо.

Answer 3

[utyfua]

Вот вариант который должен практически летать подправил под pdo:

ini_set('mysql.connect_timeout', 10000);//тут можете поэкспериментировать
$start = microtime(true);//это же считает скок мы код выполняли и поэтому его нужно на самый верх
//$db = mysql_connect ("localhost","root","");
//mysql_select_db ("test",$db);
try {$bd=new PDO("mysql:host=localhost;dbname=test",$user,$pass,//думаю тут понятно что нужно заменить
array(PDO::ATTR_ERRMODE =>PDO::ERRMODE_WARNING));
}catch(PDOException $e){echo "#mysql_pdo #1 Fatal error! Not correct data for PDO(MYSQL) connection!";exit;}
//$z = mysql_query("SELECT * FROM t", $db);
//$rows = mysql_num_rows( $z );
$rows=$bd->query('SELECT count(*) FROM t')->fetch(PDO::FETCH_ASSOC)['count(*)'];
echo $rows;
$rz='';//создаем строковую переменную
for($i=$rows;$i<1000000;i++) {
    $rz.=("INSERT INTO t(ticket_id) VALUES(rand()*1000000);");//записываем запрос в строчку
};
//mysql_query ($rz);//одним запросом все отправляем
$bd->exec($rz);
unset($rz);//освобождаем память
echo '<br>Скрипт выполнялся ',microtime(true) - $start, 'сек';//че заа ужас тут был?

Comments

[dvoch]

<?php

$db = mysql_connect ("localhost","root","");
mysql_select_db ("test",$db);

$start = microtime(true);
$z = mysql_query("SELECT * FROM t", $db);
$rows = mysql_num_rows( $z );
echo $rows;
$rz='';
for($i=$rows;$i<1000000;$i++) {
$rz.=("INSERT INTO t(ticket_id) VALUES(rand()*1000000);");
};
$time = microtime(true) - $start;
printf('
Скрипт выполнялся %.4F сек.', $time);

?>

Возвращает 0 строк. что то ни так.. не проходит запрос.

[utyfua]

dvoch: я подправил - должно работать.. просто код редактировал...

[dvoch]

utyfua: Warning: mysql_query(): MySQL server has gone away in C:\OpenServer\domains\messall.loc\index.php on line 13

Warning: mysql_query(): Error reading result set's header in C:\OpenServer\domains\messall.loc\index.php on line 13

Ругается на это.. mysql_query ($rz);//одним запросом все отправляем

:)

[AlikDex]

этот вариант еще оптимизировать и оптимизировать.

[dvoch]

AlikDex: Все возможно :) но мне очень интересно и главное поучительно. человек потрудился и предложил интересный вариант :) за что спасибо.

[utyfua]

dvoch: www.mysql.ru/docs/man/Gone_away.html
Наиболее часто ошибка MySQL server has gone away возникает в результате тайм-аута соединения и его закрытия сервером. По умолчанию сервер закрывает соединение по прошествии 8 часов бездействия. Можно изменить лимит времени, установив при запуске mysqld переменную wait_timeout.

Другой распространенной причиной получения ошибки MySQL server has gone away является выдача команды "закрытия" на соединении MySQL с последующей попыткой выполнить запрос на закрытом соединении.
тоесть даже так времени не хватает серву MySQL усвоить инфу..

[utyfua]

dvoch: исправил ответ

[dvoch]

utyfua: Сервер рабочий. я работаю с базой и все такое :( хотя может я не правильно понял, после прочтения

[utyfua]

dvoch: я подправил ответ - попробуйте его использовать

[dvoch]

utyfua: Cпасибо большое! Ошибок не выдает, но в базу ничего не пишет.

[AlikDex]

dvoch: просто там слишком большой запрос получается. Лучше привести запрос к виду
INSERT INTO t(ticket_id) VALUES (1),(2),(3)... etc
сохраняя это в стриме в файл, а затем скормить этот файт мускулу через exec.

[utyfua]

dvoch: таблица пустая опять?

[utyfua]

AlikDex: от этого не должно зависить.. это уже момент оптимизации который пока ни к чему.

[AlikDex]

utyfua: не должно, но зависит. Все не влезает в буфер запроса и вот тебе проблема =)
Там текста получается на несколько десятков мегабайт.

[dvoch]

utyfua: мне же не конкретными нужно заполнить, а именно добавить туда 500 к и более данных. Вот. по этому я использовал ваш скрипт. ошибок нет но таблица не заполняется. :(

[utyfua]

dvoch: AlikDex: попробуйте лям на 1000 заменить. если сработает - подправлю ответ.

[dvoch]

utyfua: Менял на 100. 0 результатов пишется в бд

[AlikDex]

utyfua: не сработает. тут еще проблема в ;
Оно не работает для mysql_query, тока в пдо прокатывает.

[utyfua]

dvoch: тогда скорее всего ошибка в самом запросе Вашем. попробуйте заменить mysql_query ($rz); на echo $rz; и в ручную залить то что выйдет.

[utyfua]

AlikDex: вполне возможно так как давно на php 7.0 сижу

[dvoch]

utyfua: 0 результатов в БД. Функция выполнилась 10раз.INSERT INTO t(ticket_id) VALUES(rand()*1000000);INSERT INTO t(ticket_id) VALUES(rand()*1000000);INSERT INTO t(ticket_id) VALUES(rand()*1000000);INSERT INTO t(ticket_id) VALUES(rand()*1000000);INSERT INTO t(ticket_id) VALUES(rand()*1000000);INSERT INTO t(ticket_id) VALUES(rand()*1000000);INSERT INTO t(ticket_id) VALUES(rand()*1000000);INSERT INTO t(ticket_id) VALUES(rand()*1000000);INSERT INTO t(ticket_id) VALUES(rand()*1000000);INSERT INTO t(ticket_id) VALUES(rand()*1000000);
Скрипт выполнялся 0.0029051303863525сек

<?php
ini_set('mysql.connect_timeout', 100000000);//тут можете поэкспериментировать
$start = microtime(true);//это же считает скок мы код выполняли и поэтому его нужно на самый верх
$db = mysql_connect ("localhost","root","");
mysql_select_db ("test",$db);
$z = mysql_query("SELECT * FROM t", $db);
$rows = mysql_num_rows( $z );
echo $rows;
$rz='';//создаем строковую переменную
for($i=$rows;$i<10;$i++) {
$rz.=("INSERT INTO t(ticket_id) VALUES(rand()*1000000);");//записываем запрос в строчку
};
echo 'Функция выполнилась '.$i.'раз';
echo $rz;//одним запросом все отправляем
unset($rz);//освобождаем память
echo '
Скрипт выполнялся ',microtime(true) - $start, 'сек';//че заа ужас тут был?
?>

[utyfua]

dvoch: pho поддерживает сервер?

[utyfua]

*pdo

[dvoch]

То есть функция то выполняется как ни крути. но так как в строковой пусто.. наверное из за этого? :) догадки строю. хех

[utyfua]

dvoch: pdo сервер поддерживает?

[dvoch]

utyfua: да

[utyfua]

dvoch: тогда лучше переписать на него.. сами сможете?

[dvoch]

utyfua: К сожалению нет :( я только учусь. придумываю задачки интересные и пытаюсь разобраться, прошу помощи людей :) кому чего не жалко, времени, нервов и пр :) и анализируя код штурмую книги уже по ходу чтобы разобраться что там и как. вот.

[utyfua]

dvoch: пробуйте

[dvoch]

utyfua: Попробовал, круто. Работает, но есть какие то странные баги, скажем при заходе на страницу, и созданию условия 100 к, добавляет только 1938 записей. при обновлении странице (запуске) добавляет 189, при следующем обновлении добавил 500 с чем то записей в бд. вообщем в какой то рандоме без определенной последовательности. То есть не выполняется условие взять и залить сразу каких то 100к записей.

[utyfua]

dvoch: попробуйте сделать echo и посмотреть что в конце твориться.

[dvoch]

utyfua: Пробовал, вроде как все в приделах разумного. но не льются все даные. заливаю 250к строк, в бд всегда меньше 220.. Льют 100к добавится 80-90 и т.д. Просто мне стало очень интересно, ибо вы сказали что данный способ будет просто летать :)

[utyfua]

dvoch: скорее всего лимит строки в php. партиями передавать значит нужно.. прост я работал там где 100 запросов - много и использовал такую оптимизацию.

[dvoch]

utyfua: В любом случае, спасибо большое за помощь и потраченное время. Буду пробовать :) искать путь :)