Как управлять кэшем процессора?

Question

[igorsap13]

Есть программа - она выполняет математические операции. ОЗУ занимает очень много. Больше 25 Гб. Но есть запас ОЗУ.
Когда в кэш процессора данные подгрузились - операции выполняются быстро. Но если некоторое время не выполнять операции (секунд 30), а потом опять начать - они начинают выполняться в 10 раз медленнее. (Потому что опять в кэш процессора грузит). Потом опять скорость возвращается к нормальной.

Вопрос - возможно, как-то управлять кэшем процессора?
Запретить ему самому чистить кэш? Как-то самим туда записывать и удалять если нужно?
Как рассчитывать какой объем кэша нужен процессору для такого массива (больше 25 Гб - данные хранятся в (float *a = new float[5 000 000 000];))?

Другие операции на сервере не выполняются.

Использую Windows Server 2012 R2. Visual Studio 2015 (c++). Intel Xeon e5-2660 v4 (35 Мб кэша у процессора).

P.S. Сами операции оптимизированы. Вопрос - что делать с кэшем?

Comments

[Евгений Шатунов]

igorsap13 , что свои данные перевел в монолитный блок - это хорошо. :)
Теперь разбирайся с терминологией false/true sharing и MESI. Это даст тебе понять что твой текущий вопрос снова мимо твоей кассы.
Есть процессор, он многоядерный. Кешей у процессора тоже не один, а целых три, скорее всего. У тебя монолитный блок данных, который терзают N потоков. С высокой долей вероятности твои потоки просто глушат друг друга на перезаписи совместно используемых данных.
Ну и опять же, отдашь реальные данные, будет реальный ответ.

Answer 1

[jcmvbkbc]

Есть программа - она выполняет математические операции. ОЗУ занимает очень много. Больше 25 Гб. Но есть запас ОЗУ.
Когда в кэш процессора данные подгрузились - операции выполняются быстро.

Я тоже хочу кэш процессора больше 25ГБ, но в твоём случае кэш процессора точно ни при чём.

Вопрос - что делать с кэшем?

Для начала понять, что такое "кэш процессора", сколько его и как он работает. Потом понять, как выделяется физическая память приложению, откуда она берётся и куда она уходит, если ею не пользоваться.

Если хочется застолбить массив в физической памяти -- смотреть на VirtualLock.

Comments

[igorsap13]

Я задавал вопрос - Почему меняется скорость выполнения математических операций на C++? мне сказали, что проблема в кэше, поэтому и спрашиваю. Все остальное, кроме кэша, я оптимизировал.

[jcmvbkbc]

мне сказали, что проблема в кэше

igorsap13, тебе сказали

1 - осваивайте профилирование вообще..

, с чем невозможно не согласиться. Я только ещё раз повторю: осваивай профилирование, рассуждения относительно быстродействия никогда не будут лучше прямой экспериментальной проверки.

[jcmvbkbc]

igorsap13, вот тебе книжка почитать на тему: https://akkadia.org/drepper/cpumemory.pdf , чтобы понимать, на каких объёмах данных наблюдаются эффекты от кэша.

[igorsap13]

jcmvbkbc, спасибо за ответ. ОЗУ 64 Гб на сервере. Используется из нее - максимум половина. Просто то быстрее, то медленнее к ней доступ (раз в 10). Вот и думаю что дело в кэше. Насчет, профилирования - вот именно доступ к массиву - скорость меняется. Все остальное одинаково.

[jcmvbkbc]

Насчет, профилирования - вот именно доступ к массиву - скорость меняется.

Профилирование должно отвечать на вопрос "на что расходуется время". Ответ "на доступ к массиву" -- хороший, но недостаточно подробный. По крайней мере, недостаточный для того, чтобы говорить, что проблема в кэше процессора. Чтобы получить подробный ответ нужно освоить какой-нибудь подходящий инструмент профилирования (какой именно -- не подскажу, давно не в курсе виндовой моды).

Answer 2

[АртемЪ]

Но если некоторое время не выполнять операции (секунд 30), а потом опять начать - они начинают выполняться в 10 раз медленнее.

Вы уверены что речь идет о кэше процессора, если разговор о таких длительных сроках? 30секунд и кэш процессора? Может вы говорили про миллисекунды?
За секунду кэш поменяется миллион раз.

Другие операции на сервере не выполняются.

Если другие операции на сервере не выполняются, то кэш никуда не денется.

Использую Windows Server 2012 R2

Вы же сами сказали что другие операции не выполняются. И тут же заявляете что выполняете на этом же процессоре целую ОС.

Comments

[igorsap13]

Я задавал вопрос - Почему меняется скорость выполнения математических операций на C++? мне сказали, что проблема в кэше, поэтому и спрашиваю. Все остальное, кроме кэша, я оптимизировал.

Можно как-то управлять кэшем самостоятельно?

[АртемЪ]

igorsap13, Итак по порядку.
Кэшем управлять никак нельзя самостоятельно им управляет процессор.
Косвенно можно оптимизировать если у вас работает одна программа.

мне сказали, что проблема в кэше, поэтому и спрашиваю. Все остальное, кроме кэша, я оптимизировал.

Вы первых это не точно, во вторых если проблема в попадании в кэш, то оптимизировать надо код, но никак не управлять кэшем.

Как рассчитывать какой объем кэша нужен процессору для такого массива

Кэш это чип быстрой оперативной памяти размещенный непосредственно в процессоре. Рассчитывают его проектировщики процессора.

Но если некоторое время не выполнять операции (секунд 30), а потом опять начать - они начинают выполняться в 10 раз медленнее.

Это явно не кэш, скорее оперативка и дисковые операции. Чтобы сказать точно - мало данных.

Когда в кэш процессора данные подгрузились - операции выполняются быстро.

Данные подгружаются в кэш процессора примерно за одну тысячную долю секунды. Это если говорить про внешний медленный кэш, если про более быстрые - там уже микросекунды.

[АртемЪ]

Есть программа - она выполняет математические операции.

Что конкретно делает эта программа? Где она берет данные для этих операций?

ОЗУ занимает очень много. Больше 25 Гб.

А у вас памяти достаточно?
При таком раскладе скорее всего проблема в банальной нехватке памяти. Сколько у вас памяти на компьютере?

[igorsap13]

АртемЪ, спасибо за ответ. ОЗУ 64 Гб на сервере. Используется из нее - максимум половина.

[АртемЪ]

igorsap13,

Используется из нее - максимум половина.

А конкретнее?
Можете скриншот из монитора ресурсов (вкладка память) выложить? При запущенной задаче разумеется.
Так же неплохо бы уточнить обращается ли программа к диску во время работы.
И посмотреть очередь системного диска в тот момент когда наблюдаются проблемы.

Answer 3

[res2001]

Похоже ваши гигабайты успевают скидываться в своп во время паузы, отсюда и тормоза пока ОС достанет их оттуда.
Кэшем на прямую вы никак управлять не можете, можете только косвенно структурировав соответствующим образом код и данные. Увеличить объем кэша вы то же не можете, разве что поставить проц с бОльшим кэшем.
Пока попробуйте добавить памяти в комп, так что бы ваш массив целиком туда влазил (да еще и запас был под другие задачи и ОС).

Кстати, вы не привели объем ОЗУ вашего компа.

Comments

[igorsap13]

Спасибо за ответ. ОЗУ 64 Гб на сервере. Используется из нее - максимум половина. Поэтому не думаю, что используется своп.

[АртемЪ]

igorsap13,

Поэтому не думаю, что используется своп.

Своп используется всегда, вне зависимости от объема памяти.

[jcmvbkbc]

Своп используется всегда

АртемЪ, даже когда его нет?

[res2001]

igorsap13,

Поэтому не думаю, что используется своп.

Зачем гадать - используйте виндовый Монитор производительности, чтоб определиться используется своп или нет.