Как реализовать на с или assembler асинхронную выборку из RAM?

Question

[Евгений Лернер]

1 CPU обращается к ram
2 пока происходит выборка CPU выполняет какие-то другие операции , например, обращается к другим ячейкам ram

Comments

[pfemidi]

По вопросам от Евгений Лернер совсем что-то не похоже что "Программирую с 1975".

[pfemidi]

Dr. Bacon, вряд ли. Кто начал программировать в 1975 явно не будет встраивать ассемблер в Python или в PHP и не будет программно определять параметры CPU и GPU. А вот какой-нибудь мамкин хакер вполне.

[Евгений Лернер]

это сервис вопросов и ответов. если у вас нет ответа то не пишите ничего. я послал жалобы модератору

Answer 1

[jcmvbkbc]

Как реализовать на с или assembler асинхронную выборку из RAM?

Например так. Это часть реализации memcpy для MIPS. Этот код не выглядит асинхронным, но написан именно так (сначала групповая загрузка в разные регистры, потом изменение базового адреса загрузки, потом групповое сохранение, потом изменение базового адреса сохранения) с рассчётом на то, что процессор сможет, в том числе, перекрыть во времени операции загрузки, арифметики и сохранения данных.

Comments

[pfg21]

тут бы трассировку выполнения приложить.

[jcmvbkbc]

pfg21, микроархитектурную, что ли?

Answer 2

[Saboteur]

Вы уже разобрались с тем, как работает L1 и L2 кеширование и как работают многопоточные программы?
Или не очень понятно, что вы подразумеваете под "CPU обращается в рам, а в это время выполняет другие операции"

Comments

[Евгений Лернер]

Я подразумеваю что CPU не ждет пока данные будут получены из ram, а делает что-то другое. Я не знаю как это организовано. Может быть есть какое-то прерывание , когда загрузка закончилось

[Евгений Лернер]

Я и задал вопрос, чтобы разобраться. Меня интересует может ли процессор выполнять другие операции пока идет загрузка из ram

[freeExec]

Евгений Лернер, Проц это делает сам, без вашего участия.
https://ru.wikipedia.org/wiki/Spectre_(уязвимость)

[Евгений Шатунов]

Евгений Лернер, что тебе известно о протоколе MESI?

[Евгений Лернер]

Евгений Шатунов, ничего не известно. Можно. Коротко

[Евгений Шатунов]

Евгений Лернер, а что тебе известно о блоках кода и предсказателе ветвления?

[Евгений Лернер]

Евгений Шатунов, вы можете олтветить на вопрос. а не задавать свои волпросы?

[Евгений Лернер]

freeExec, правильно ли я понял. скажем есть два процесса. в одном обращаются к памати. пока запрос выполняется процессор займется работой по второму процессу и это происходит без вмешательства программиста

[s-a-u-r-o-n]

Правильно. За исключением случая, когда вы явно запретили процессору это делать при помощи префиксной инструкции lock.

[Saboteur]

Нет, процессор не делает другие задачи. Если ему нужно прочитать данные, то он обязан их сперва прочитать. Потому что неизвестно что с этими данными ему делать, и можно ли делать в принципе.
Но слишком большого ожидания чтения из RAM тоже не происходит - есть кеширование блоков памяти на кеше процессора, который работает с его же частотой.
Есть ДРУГИЕ ЯДРА И ТРЕДЫ, которыми надо пользоваться, если вы считаете что успеете.

В общем ваш вопрос нельзя задавать в подобном ключе, потому что вы неправильно понимаете куда нужно оптимизировать.
За вас это уже делают opcode , предсказатели ветвления, кеши различного уровня и др.

[Евгений Лернер]

s-a-u-r-o-n, очень хочется верить что вы правы. Это решает мою задачу. Хотя я думал делать в рамках одного процесса, но это не существенно

[Евгений Лернер]

Saboteur, я правильно понимаю как оптимизировать.
Нет, процессор не делает другие задачи. Если ему нужно прочитать данные, то он обязан их сперва прочитать. Потому что неизвестно что с этими данными ему делать, и можно ли делать в принципе.- в рамках двух процессов это может быть реально. По крайней мере ваши ответы противоположны. Хотелось бы разобраться

[Евгений Лернер]

Вообще возможность асинхронно читать из рам полезно было бы дать программеру и в одном процессе. Можно загружать данные параллельно с расчетом, тогда и кеш не нужен

[Евгений Шатунов]

Евгений Лернер,

вы можете олтветить на вопрос. а не задавать свои волпросы?

Отвечаю на этот, единственный твой вопрос ко мне: да я могу ответить на вопрос если он задан.
Больше ты мне никаких вопросов не задавал.

Теперь по делу. Это были не столько вопросы к твоим знаниям, сколько предложение тебе изучить оговоренные мной темы. Уже по заданному тобой вопросу было понятно что по этим темам у тебя пусто. Двумя словами на ресурсе формата Q&A объяснить вещи с документацией на сотни и тысячи страниц невозможно. Начни отсюда и отсюда.

[Saboteur]

Евгений Лернер, Ну железную архитектуру почитайте.
Зачем читать рам и делать что-нибудь еще в одном процессе?
Предложите пример такой задачи?

[Евгений Лернер]

Saboteur, это моя задача, обработка потока данных по валютам и акциям. Кеш хорош когда какие-то данные используются несколько раз. Если поток то его надо взять из рам и ничего не поможет, процессор большую часть времени будет стоять. Надо взять блок, начать его обрабатывать и одновременно загружать следующий блок

[Евгений Лернер]

Всем спасибо. Вопрос решен. Можно сильно ускорить

[Saboteur]

Евгений Лернер,

Кеш хорош когда какие-то данные используются несколько раз.

То есть почитать вы не решились.
Поясню. Например. Вы считываете байт данных из RAM
Данные сперва попадают в кеш, точнее в кеш попадает блок данных, и если вы считываете данные последовательно, весь следующий блок уже будет считываться из кеша. Тем более что есть два (а то и три уровня кеша разного объема, каждый работает со своим размером блоков - кто со страницами, кто с бОльшими объемами).

[Евгений Лернер]

Saboteur, самое большое время занимает считывание из рам в кеш. и это время хотелось бы чтобы процессор не стоял.

[Евгений Лернер]

если данные в кеш можно считывать одновременно с обработкой то это точто мне и надо

[Saboteur]

Евгений Лернер,

Не в каждом процессоре вообще есть такая возможность, и чтобы оставаться совместимым не нужно усложнять жизнь. Управлять напрямую L1-L2 кешами процессора обычно нет смысла и сложно.
Например банально - чтобы что-то занести в кеш из RAM, вы должны выполнить интрукци, а инструкции откуда будут считываться? Тоже из RAM
Вы не можете считать напрямую из кеша, вы считываете по аресу RAM, а процессор уже сам знает, есть ли в кеше соответствующие данные, и на каком из уровне кешей они есть.

Современный кеш делится на кеш для данных и кеш для инструкций, и управляется автоматически.
Можете почитать https://developer.arm.com/documentation/ddi0151/c/..., но это только для ARM

[Евгений Лернер]

спасибо. я уже получил ответ на свой вопрос и код. то что вы написали про кеш это известно, но в данной задаче уже все ясно и кеш не влияет.

Answer 3

[forspamonly2]

переупорядочивание выполнения (out of order execution) процессор выполняет и так, то есть он сам будет по возможности чем-то другим заниматься, пока грузит данные из памяти. писать код так, чтобы он для этого был оптимален - отдельный навык, которым сейчас мало кто владеет, потому что им в совершенстве овладели компиляторы.

но если трактовать ваш вопрос буквально, то у x86 (точнее в наборах команд sse и avx) есть целое семейство команд для префетча данных в разные уровни кэша:

PREFETCHT0 - prefetch data into all levels of the cache hierarchy
PREFETCHT1 - prefetch data into level 2 cache and higher
PREFETCHT2 - prefetch data into level 2 cache and higher
и аналогичные avx-овские VPREFETCH(0-2) для чтения и VPREFETCHE(0-2) для записи.

в сишном коде это делается через intrinsic функцию _mm_prefetch

ей в каком-нить цикле можно заказывать загрузку данных для следующей итерации, а пока заниматься обработкой текущей итерации. шансов на то, что у вас это плучится лучше чем у компилятора - практически нет, но тем, кто на такое способен, это бывает полезно.