Возможно ли как-то ускорить скрипт?

Question

[kolomat]

Добрый день, суть проблемы такова. Пытаюсь разобраться с API поставщика, написал такой код

function GetAllProducts($token) {
	$total = getTotal($token);
	for($i = 100; $i <= $total; $i++) {
	$curl = curl_init();
		curl_setopt_array($curl, array(
		CURLOPT_URL => "http://api.brain.com.ua/products/1237/" . $token . "?offset=" .$i,
		CURLOPT_RETURNTRANSFER => true,
		CURLOPT_ENCODING => "",
		CURLOPT_MAXREDIRS => 10,
		CURLOPT_TIMEOUT => 30,
		CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
		CURLOPT_CUSTOMREQUEST => "GET"
		
		));
		$response = curl_exec($curl);
		curl_close($curl);
		$response = json_decode($response);
		$dbLink = connectdb();
		foreach($response->result as $product) {
			$dbLink->query("INSERT INTO product (product_id) VALUE ('". $product->productID ."');");
		}
	}	
}

Api при обращении отдает только 100 товаров и в переменной $total лежит общее количество товаров для раздела, например 1000. Что бы получить остальные товары используется ?offset=. Например, если offset=0, то получаем первые 100 товаров, offset=100, получаем следующие 100 товаров и так далее пока не достигнем $total. Скрипт вроде бы и работает, но сказать что он работает крайне медленно это не сказать ничего. Например на обработка 1000 товаров из раздела уходит минут 10. Вопрос в чем, может быть кто-то может посоветовать как можно улучшить цикл для более быстрой работы? Так как предпологается еще циклы для получения других разделов и так далее.

Comments

[Сослан Хлоев]

Например, если offset=0, то получаем первые 100 товаров

У Вас offset изначально равен 100, и к нему на каждой итерации прибавляется по 1. Вам надо изменить цикл примерно такfor ($i = 0; $i <= $total; $i+=100) { ... }
Если я всё правильно понял

[kolomat]

Спасибо за совет, буду пробовать

[kolomat]

Nazar Tertyshnyi, не совсем понял насчет одного запроса, ведь мне надо обработать каждую позицию и записать ее. Не совсем понимаю, как можно это записать 1 запросом. Если не затруднит, можете дать пример или если есть полезный материал почитать, ссылочку на него?

[kolomat]

Nazar Tertyshnyi, Спасибо вам огромное, я даже и не думал что так можно сделать. Почитаю и ознакомлюсь. Спасибо за очень хороший совет

[kolomat]

Nazar Tertyshnyi, Я извеняюсь за наглость, а хотелось бы уточнить я правильно понимаю, что могу добавитьже любые значения подобным образом

foreach($response->result as $product){
      $query .= sprintf('(%s),', $product->productID);
      $query .= sprintf('(%s),', $product->Code);
      $query .= sprintf('(%s),', $product->quantity);
    }

Тоесть я могу таким способом к запросу приклеить еще данные? Или я ошибаюсь?

[kolomat]

Nazar Tertyshnyi, Спасибо, понял. Я изначально так и подумал, но думаю уточню)

[kolomat]

Nazar Tertyshnyi, Спасибо еще раз, проверил все работает и уходит секунд 5 на обработку, единственное что пришлось добавить это перед отправкой запроса
$query = substr($query, 0, -1);
Так как не отправлялся запрос с запятой в конце

Answer 1

[Hamsterick]

1. Offset - это смещение, для вывода только 100 товаров, нужно использоваться limit=100.
2. Если вы выводите по 100 товаров, то и $i++ нужно заменить на $i=$i+100
3. Почему в функции GetAllProducts используется INSERT в базу? Да и еще не подготовленным запросом, а построчно, скорее всего тут дольше всего скрипт выполняется.

Comments

[kolomat]

Спасибо за совет, INSERT там чисто для тестов, там скорее всего будет собираться массив, а потом уже обрабатываться и грузиться в базу