Если я все правильно понял - львиная доля времени уходит на установление SSL-соединения.
Сам при таких ситуациях первым делом полез бы в настройки веб-сервера, чтобы посмотреть, что там не так с секцией с параметрами SSL (рекомендаций по ускорению SSL в nginx в интернетах - вагон с тележкой).
Вторым делом - убедился бы, что файлы gif отдаются с помощью nginx, а не проксируются на апач в бэкенде.
location /img/ {
root /var/www/...... ;
expires 2y;
}
Либо, если, кровь из носа, надо обрабатывать gif апачем - ну хотя бы proxy_cache туда впилить, чтобы каждый раз к нему не лазить.
Судя по заголовкам сервера - у вас nginx стоит фронтендом, а судя по таймингу - либо запросы на gif действительно уходят на apache, либо у вас ооочень медленный (либо загруженный) диск.