Импорт из CSV в MySQL?

Question

[John Freeman]

Такс, смотрите есть коД:

$file_name = './uploads/IMPORT-TEXT.csv';
$columns = "`domain_name`,`source_category`,`competitor_relevance`,`organic_traffic`,`alexa_rank`";
if ( ($handle_o = fopen($file_name, "r") ) !== FALSE ) {
while ( ($data_o = fgetcsv($handle_o, 1000, ";")) !== FALSE) {
$insertValues = array();
foreach( $data_o as $v ) {
$insertValues[]="'".addslashes(trim($v))."'";
}
$values=implode(',',$insertValues);
$sql = "INSERT INTO `domain` ( $columns ) VALUES ( $values )";
mysql_query($sql) or die('SQL ERROR:'.mysql_error());
}
}
fclose($handle_o);

все работает отлично в БД добавляет 9000 строк, но у меня вопрос:
файл IMPORT-TEXT.csv имеет вот такой вид:

site.net;site.com organic;20.34;584
site.com;site.com organic;15.55;1538
site.com;site.com organic;15.44;3053
site.com;site.com organic;14.71;160
site.com;site.com organic;11.21;111

как к каждой строке в файле добавить +1 значение которое потом запишется в БД
значение хочу брать из этого кода:

$domain_check = 'domain_name'; // сюда как то нужно записать первое слово из каждой строки, тоесть имя домена
$alexa = simplexml_load_file("http://data.alexa.com/data?cli=10&dat=snbamz&url=$domain_check");
$globalrank = $alexa->SD[1]->POPULARITY["TEXT"]; // то что нужно добавить к каждой строчке файла при записи в БД

помогите решить!
Заранее Спасибо!

Answer 1

[Alex XYZ]

Устроит ли сделать push в массив $values?

$values=implode(',',$insertValues);
$domain_check = 'domain_name'; // сюда как то нужно записать первое слово из каждой строки, тоесть имя домена
$alexa = simplexml_load_file("http://data.alexa.com/data?cli=10&dat=snbamz&url=$domain_check");
$globalrank = $alexa->SD[1]->POPULARITY["TEXT"]; // то что нужно добавить к каждой строчке файла при записи в БД

array_push($values, $globalrank) // <- сюда

$sql = "INSERT INTO `domain` ( $columns ) VALUES ( $values )";

Comments

[John Freeman]

Выдает вот такую ошибку:

Warning: array_push() expects parameter 1 to be array, string given in /home/igor/example.com/www/uploads/index.php on line 23
SQL ERROR:Column count doesn't match value count at row 1

[Alex XYZ]

Извините, Igor, когда читал, перепутал implode с explode. Но раз это строка, тогда просто
$values = $values.";".$globalrank;

[Alex XYZ]

ну и, конечно, добавить вокруг $globalrank кавычек )

[John Freeman]

Захаров Александр: подумал, и блин немного по другому сделал,
Было:

$values=implode(',',$insertValues);
$domain_check = 'domain_name'; // сюда как то нужно записать первое слово из каждой строки, тоесть имя домена
$alexa = simplexml_load_file("http://data.alexa.com/data?cli=10&dat=snbamz&url=$domain_check");
$globalrank = $alexa->SD[1]->POPULARITY["TEXT"]; // то что нужно добавить к каждой строчке файла при записи в БД
array_push($values, $globalrank) // <- сюда
$sql = "INSERT INTO `domain` ( $columns ) VALUES ( $values )";

Выдавало ошибку, немного изменил, и заработало....
Стало уже так:

$domain_check = 'toster.ru'; // сюда как то нужно записать первое слово из каждой строки, тоесть имя домена
$alexa = simplexml_load_file("http://data.alexa.com/data?cli=10&dat=snbamz&url=$domain_check");
$globalrank = $alexa->SD[1]->POPULARITY["TEXT"]; // то что нужно добавить к каждой строчке файла при записи в БД
array_push($insertValues, $globalrank);
$values=implode(',',$insertValues);
$sql = "INSERT INTO `domain` ( $columns ) VALUES ( $values )";

и как не странно работает =))

[John Freeman]

Захаров Александр: прикол в том что из 8 000 записей добавляет только первые 600 и все, выбивает 504 Gateway Time-out, если просто добавлять записи в бд то все ок за несколько секунд добавляет эти чертовы 8 000 записей, а если еще и globalrank добавлять то только 600..... в чем может быть проблема???

[Alex XYZ]

Ваш браузер не через nginx работает с сервером, где крутится php? Если так, то ищите в google "nginx 504 increase timeout".

Answer 2

[Андрей Мохов]

зачем вы изобретаете велосипед?
есть же готовые решения

Comments

[Alex XYZ]

Но ведь Igor динамически определяет дополнительное значение во время загрузки данных?

[Андрей Мохов]

Захаров Александр: а не проще подготовить файл, а потом уже кормить его MySQL? всяко лучше чем др...ть его одиночными запросами

[Alex XYZ]

конечно, вариант, но др...ть-то когда-то всё равно нужно? Ну и ваш статический вариант наверное был бы правильней, потому что если соединения к стороннему сервису упадут во время импорта - то потом придётся приводить базу в состояние, предшествующее импорту. Это плохо. Но может у Igor это не критично, мы же не знаем )

[John Freeman]

Захаров Александр: не критично, хочу просто автоматизировать работу с сайтами, что бы вручную не вбивать для 10 000 сайтов AlexaPR и другие данные, решил при записи в БД из файла просто добавлять N значение, а потом все равно после обработке из БД обратно в CSV переношу и все..... как то так! Но конечно если есть более лучшее и быстрое решение то готов выслушать! Спасибо!

[Alex XYZ]

Быстрое, не значит лучшее, особенно при импорте. Данные надо беречь! Я бы сделал так - сначала залил данные, которые есть в другую, а лучше совсем новую таблицу (с пустым столбцом для дополнительного поля), потом сделал цикл перебора по непустым записям и сохранением значения этого поля. Если будет сбой, то цикл легко начать сначала не боясь повредить уже загруженные данные. Когда всё загрузиться, выполнить загрузку полученной таблицы в целевую таблицу.

Answer 3

[Артём Каретников]

Робею спросить: а что мешает просто потом это добавить уже в базу?

Comments

[John Freeman]

так проще, чем потом вручную определять pr и добавлять в БД 10 000 записей!