Ping — это время, за которое пакет данных отправляется с вашего устройства на сервер и обратно. Кэширование всего это не хороши выбор, но многие запроси можно кешировать. На скорость сайта влияет размер страниц и ресурсов(jpeg,mp4,webp,pdf...), количество запросов, библиотеки(react,jqueri, material ui...), фреймворки, язык backend (rust,zig,js...) и многое другое (даже место нахождение сервера)