Нет, наоборот быстрее. При просмотре сайта сначала проверяется кэш на наличие файлов сайта (css, js, images, прочее), если таких нет, то сначала браузер их скачивает и кэширует, иначе просто загружает из кэша. Единственный минус, что в случае обновления сайта на клиенте кэш придется чистить, и перед этим об этом обновлении узнать.
