Как правильно оптимизировать cURL?

Question

[Dramy]

Добрый день. Я в curl не силён, поэтому заранее извиняюсь, если вопрос слишком слабый )

К сути:
через curl я подключаюсь к API МойСклад чтобы сохранить там товар с сайта.

$url = "https://online.moysklad.ru/api/remap/1.1/entity/counterparty?filter=externalCode%3D";

$curl = curl_init(); 
curl_setopt_array($curl , array(
  CURLOPT_URL => $url,
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "GET",
  CURLOPT_HTTPHEADER => array(
    "Authorization: Basic " . base64_encode('login:pass'),
    "content-type: application/json" ),
));
$searchid = curl_exec($curl );

// тут обработка полученных данных

// далее передача обработанных данных с помощью масива $arrayjson
curl_setopt_array($curl , array(
  CURLOPT_URL => "https://online.moysklad.ru/api/remap/1.1/entity/counterparty",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "POST",
  CURLOPT_POSTFIELDS => $arrayjson,
  CURLOPT_HTTPHEADER => array(
    "Authorization: Basic " . base64_encode('login:pass'),
    "content-type: application/json;charset=utf-8" ),
));
$newcounter = curl_exec($curl );

//и так ещё 4 раза

весь файл выполняется 13 секунд.

Как я понял, проблема в том, что каждый раз происходит авторизация, но я никак не могу понять (найти в гугле), как сделать всё на одной авторизации?
Заранее спасибо.

Comments

[DevMan]

Dramy подсветка кода? не, не слышал!!!11адын
хинт: кнопка < / > в редакторе.

[Dramy]

Спасибо )

Answer 1

[Сергей Соколов]

Настройки достаточно указать один раз и затем только менять CURLOPT_URL и CURLOPT_POSTFIELDS.

Тип запроса, GET/POST лучше вместо CURLOPT_CUSTOMREQUEST задавать традиционно:

CURLOPT_HTTPGET => TRUE, // GET
// или
CURLOPT_POST => TRUE,  // POST

Попробуйте добавить следующие опции. Посмотрите, ускорит ли это работу заметно?

CURLOPT_SSL_VERIFYPEER => FALSE,
CURLOPT_SSL_VERIFYHOST => FALSE,
CURLOPT_SSL_VERIFYSTATUS => FALSE,

После выполнения любого из запросов сделайте curl_getinfo() и посмотрите, какие этапы занимают больше всего времени, см. параметры заканчивающиеся на *_TIME

Comments

[Dramy]

Привёл к такому виду:
curl_setopt_array($curl , array(
CURLOPT_URL => $threeurl,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_ENCODING => "",
CURLOPT_MAXREDIRS => 10,
CURLOPT_TIMEOUT => 30,
CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
CURLOPT_CUSTOMREQUEST => "GET",
CURLOPT_SSL_VERIFYPEER => FALSE,
CURLOPT_SSL_VERIFYHOST => FALSE,
CURLOPT_SSL_VERIFYSTATUS => FALSE,
CURLOPT_HTTPHEADER => array(
"Authorization: Basic " . base64_encode('pass:log'),
"content-type: application/json"
),
));

//следующий:
curl_setopt_array($curl, array(
CURLOPT_URL => "https://online.moysklad.ru/api/remap/1.1/entity/co...",
CURLOPT_CUSTOMREQUEST => "POST",
CURLOPT_POSTFIELDS => $arrayjson,
));

И самое странное, время наоборот увеличилось.
изначально —13s
с отключенными проверками — 18s
без отключения проверок —15s

[Сергей Соколов]

Dramy, ок, мы хотя бы попробовали ) Тогда без тех трёх. Замените CUSTOMREQUEST на стандартные GET/POST и посмотрите, что пишет curl_getinfo()

[Dramy]

CURLOPT_CUSTOMREQUEST:
["total_time"]=> float(0.223028)
["namelookup_time"]=> float(0.004254)
["connect_time"]=> float(0.017714)
["pretransfer_time"]=> float(0.056432)
["starttransfer_time"]=> float(0.222902)

Стандартные get\post:
["total_time"]=> float(0.220686)
["namelookup_time"]=> float(0.004163)
["connect_time"]=> float(0.018519)
["pretransfer_time"]=> float(0.057909)
["starttransfer_time"]=> float(0.220611)

Сдвиги уже есть, неплохо )

[Dramy]

Chrome DevTools выводит 14.36s

[Сергей Соколов]

Судя по таймингу, похоже, что дело совсем не в cURL – там один запрос выполняется 0.2 секунды, вполне нормально. Смотрите, что там ещё в скрипте может так долго выполняться, ставьте метки, считайте время кусков кода.

[Сергей Соколов]

Тем же curl_getinfo() проверьте все 4 вызова CURL. Может, один из запросов к API возвращает гигабайтную пачку данных?

[Dramy]

Перед закрытием сеанса getinfo выдает такие показатели:
["total_time"]=> float(14.353719)
["namelookup_time"]=> float(3.0E-5)
["connect_time"]=> float(0.014637)
["pretransfer_time"]=> float(0.038128)
["starttransfer_time"]=> float(0.052818)

А данные небольшие. Многомерные массивы на сто строк с уровнем вложенности 4 и меньше )

[Сергей Соколов]

Dramy, видите total_time: 14s? – вот именно этот curl-запрос, один, и делает все тормоза. Причем, скорее всего, тупит «тот» конец, либо непосредственно передача данных и получение ответа. Т.е. ускорять надо либо канал, либо ту сторону. Скорее всего.

[Dramy]

["size_upload"]=> float(2677)
["size_download"]=> float(1086)
["speed_download"]=> float(71)
["speed_upload"]=> float(175)

По сути, я могу только попытаться уменьшить объем данных?
Потому что к API МойСклад нельзя подключиться напрямую по IP, только через заголовки.

[Dramy]

Спасибо большое за помощь )

[Сергей Соколов]

Dramy, скорость (speed_*) что-то низковата, совсем. 2677/175 = 15, и это только передача данных запроса туда. Получение ответа 1086/71 = ещё 15 секунд.

[Сергей Соколов]

В техподдержку этого Склада обращались?

[Dramy]

Нет, в поддержку не писал. Думал, что это я накосячил )

[Dramy]

Нашёл причину!

Как оказалось, причина была в автоматической генерации номере заказа (всё-таки мой косяк, надо было сразу сделать так))
Нужно принудительно подставлять номер и тогда общее выполнение меньше секунды )