Отправил запрос к хостеру, где указал свои думки. Все сайты почти что одинаковые, различия небольшие.
Заметил что если в ответе такая строчка Vary: Accept-Encoding - то ответ долгий. Vary: X-Forwarded-Proto,Accept-Encoding - а если такая, то ответ быстрый.