Смотрите в curl_getinfo там есть:
CURLINFO_TOTAL_TIME - время выполнения операции в секундах;
CURLINFO_NAMELOOKUP_TIME - время разрешения имени сервера в секундах;
CURLINFO_CONNECT_TIME - время, затраченное на установку соединения, в секундах;
CURLINFO_PRETRANSFER_TIME - время, прошедшее от начала операции до готовности к фактической передаче данных, в секундах;
CURLINFO_STARTTRANSFER_TIME - время, прошедшее от начала операции до момента передачи первого байта данных, в секундах;
CURLINFO_REDIRECT_TIME - время, затраченное на перенаправление, в секундах;
Если всё это у вас быстро отрабатывает то проблема у вас, если какая-то из переменных велика то какая - посмотрите где идёт задержка времени. Если проблема у них, то тут особо ничего не сделать, если не в curl то можно думать уже...