Мыслите правильно.
Заниматься преждевременной оптимизацией не всегда правильно.
Кэширование состоит в том, что что-то что используется чаще, чем обновляется - фиксируется на определенное время. В браузере свой кэш. В ОС это может делаться как на уровне оперативной памяти, так и на уровне файловой системы. Оперативная память, конечно же, на порядок (порядки?) быстрее в общем случае.
На заметку: в вебе делают такую удобную штуку, как ETag headers (
www.w3.org/Protocols/rfc2616/rfc2616-sec14.html), которая используется в системах кеширования (как минимум, в Rails (не php) )
