Я бы проверил, что это именно код, а не сеть, например.
Можно сделать запрос через "curl" и посмотреть что будет. Если опять тормоза, то надо проверять что не так. Например, сделать запрос через Chrome и посмотреть на что уходит время. Может, DNS тормозит или на той стороне reverse lookup включен, который тормозит.
