Внутри нейронной сети нужна синхронизация по слоям?

Question

[Александр Синицын]

Т.е. стопорить обработку данных на следующем слое, пока не отработали все нейроны предыдущего. Ведь входные данные не поступают сразу на все входы, а заносятся в цикле последовательно.

Answer 1

[longclaps]

Если ты умножаешь в столбик последовательно обсчитываешь слой за слоем - нет такой проблемы.
Если ты обсчитываешь параллельно, например на GPU - тогда да, производится синхронизация аппаратно, средствами GPU.

Comments

[Александр Синицын]

Спасибо