Ставлю, например, WP super cache. Первая загрузка страницы медленная, а дальше эта страница уже грузится быстро.
Но если эту же страницу открыть в другом браузере или через инкогнито, то снова первое открытие долгое.
Разве кешированная версия не должна хранится на сервере и подгружаться всем следующим посетителям? Такое ощущение, что кеширование работает только на уровне браузера.
Для начала прочитайте, что такое кеширование, и тогда вопрос отпадет сам собой: Кэш — это промежуточный буфер, который позволяет хранить наиболее часто используемые данные в памяти или на жёстком диске, что позволяет существенно ускорить процесс их выдачи.