Какой размер кэш процессора на одно ядро?

Question

[Евгений Лернер]

Здравствуйте ! Я читал какой обычно размер кэш каждого уровня процессора а если процессор многоядерный, эта кэш будет общая для всех ядер или такая будет у каждого ядра?.

Comments

[Dmitry Roo]

https://i2hard.ru/publications/25666/

[Евгений Лернер]

L1 для каждого ядра отдельный?

Answer 1

[mayton2019]

Обычно L3 - общий для всех ядер а L2/L1 - персональные кеши для каждого Thread/Kernel.
Но технологии меняются. И я не думаю что это какая-то окончательна архитектура. Могут быть
и исключения.

Comments

[Евгений Лернер]

Спасибо. Конечно для каждого производителя архитектура своя. Меня интересует l1, для gpu также. Могли бы вы привести примеры архитектур?

[mayton2019]

Евгений Лернер, выше в комментариях тебе один чел прикрепил ссылку. Там есть картинки со стеком кешей.
И в том числе и L1. Спроси конкретный вопрос что ты хочешь узнать про L1.

[Евгений Лернер]

Вроде всё ясно, зависит от архитектуры. Вопрос был 64 к на ядро , или на все ядра

[mayton2019]

Евгений Лернер, про какие процессоры ты хочешь поговорить? Я знаю что у AMD и Intel достаточно все по разному.

[Евгений Лернер]

Спасибо за помощь. Я хочу максимально ускорить некоторые алгоритмы. Ai, crypto и ТП.продукт для общего пользования, те Интер суют самые популярные процессоры.
По каждому
1 время выполнения команд в в тактах
2 время доступа к Кешу в тактах
3 размер Кеша всех уровней на ядро
4 могу ли программно работать с ядрами?
5 могу ли я программно работать с кешем или процессор все решает сам?

[mayton2019]

Я хочу максимально ускорить некоторые алгоритмы. Ai, crypto и ТП.продукт для общего пользования, те Интер суют самые популярные процессоры.

Intel наверное имелся в виду.

1) Современный процессор - это очень сложный автомат со множеством состояний. И никому кажется точно
не удавалось зафиксировать время выполнения команд. Вернее сказать я мог посчитать время команды
в тактах для процессора Z80. Когда-то в юности я имел удовольствие покодить на ассемблере под него.
У меня была книжка. Справочник команд и тайминги. И я смотрел сколько чего и как. И если цикл надо
было замедлить я "подбрасывал угля". Добавлял Nop-s.

Я думаю что для Intel можно посчитать длину например

xor rax,rax
Хотя с учетом конвейеризации команд я вообще не уверен что за регистром rax скрывыется
конкретный регистр а не целый стек теневых версий rax, Может и xor тоже нельзя точно учесть.

А для команд оперируюших с памятью - там будет некая шумящая величина наподобие гауссова
шума со средним временем. И вам следует ориентироваться на нее.

Вообще проще написать код и замерять время сколько он работает. И число циклов. И посчитать
среднее время микро или нано-секунд на 1 цикл. Я всегда так делал для всех языков и архитектур.
Имея такие цифры как baseline можно заниматься оптимизацией. Такой подход к сложному объекту
управления предлагал Алексей Шипилев в своих докладах. И я с ним полностью согласен.
Мы рассматриваем любое техническое программное устройство как черный ящик с неизвестными
свойствами. Меряем эти свойства на конкретных алгоритмах и далее пытаемся улучшать.
Поэтому вот в формулу расчета времени я не верю.

2) У Intel на сайте есть много упоминаний о разных SDK и утилитах для тонкой настройки и мониторинга бинарного кода. Может вам пригодиться.

могу ли программно работать с ядрами?

Для Windows/Linux есть утилиты притяжения (affinity) которые позволяют запускать
процессы на конкретных ядрах (taskset). Они вызывают обычный API OS и следовательно
вы тоже можете делать fork процесса с указанием ядра или маски ядер. Но в современном
программировании я вижу в этом очень сомнительную пользу. Скорее будет больше вреда.

Ai, crypto

Я не знаю как вы можете это писать просто так через запятую. Неужели будете заниматься и тем
и другим? Обе доменных области - очень большие. Самые сильные оптимизации в них
идут через математику и через применение железа специального назначения (криптографические
расширения процессора и тензорные процессоры для AI/ML).

[Евгений Лернер]

mayton2019, железо это отдельный вопрос. Алгоритм нейрона очень простой. Блокчейна тоже. В постквантовой криптографии стандарта ещё нет, но Гугл что то уже использует в хроме. Я думаю что смогу что-то сделать, опыт большой. Начинал в 73 в кодах, даже не ассемблер

[mayton2019]

Алгоритм нейрона очень простой. Блокчейна тоже.

Вот это поворот! Даже не знаю что сказать. Что для вас сложное?

[Евгений Лернер]

mayton2019, вы просто этим не интересовались. Сеть может быть сложной но нейроны везде одинаковые, очень просто вычисляются. Криптографические алгоритмы тоже простые. А постквпнтовые пока не изучал. Вообще любой детерминированный алгоритм это просто. А вот оптимизационный при локальных экстр и оврагах это сложно. В общем случае решения нет

[mayton2019]

А вот оптимизационный при локальных экстр и оврагах это сложно. В общем случае решения нет

Удачи вам.

[Евгений Лернер]

mayton2019, спасибо.напишу что получилось. Оптимизация это больше для развлечения. Хороший результат, даже не быстрый устроит

Answer 2

[Melkij]

Может различаться для конкретных реализаций. Потому, необходимо уточнять в Datasheet конкретного процессора, если это для вас важно.

Например, Intel 13 generation (Raptor Lake):

L1 для данных (DFU) и L1 для инструкций (IFU) у каждого ядра свои собственные.
L2 у каждого P-ядра свой собственный, но для E-ядер - используется общий.
L3 общий

Comments

[Евгений Лернер]

L1 примерно 64к?

[Melkij]

Что значит "примерно" и какой именно из L1?

[Евгений Лернер]

Спасибо за помощь. Я хочу максимально ускорить некоторые алгоритмы. Ai, crypto и ТП.продукт для общего пользования, те Интер суют самые популярные процессоры.
По каждому
1 время выполнения команд в в тактах
2 время доступа к Кешу в тактах
3 размер Кеша всех уровней на ядро
4 могу ли программно работать с ядрами?
5 могу ли я программно работать с кешем или процессор все решает сам?