Микрокод процессора этим рулит.
Если понимать то как эти кеши работают, то да можно попробовать написать программу которая будет эффективно кэшироваться при исполнении, но не факт что какие-то данные гарантированно будут браться из кеша. Ведь задача же не одна исполняется на процессоре (как правило).