Как реализованы параллельные вычисления в многоядерных процессорах?

Question

[V0LMAG]

Ребята, подскажите непрограммисту, правильно ли я все понимаю? Классическая архитектура фон Неймана - это строго последовательные вычисления: одна операция в один конкретный момент времени. Но многоядерный процессор позволяет отойти от последовательности и реализовать параллелизм, одновременно выполняя количество операций, равное количеству ядер. То есть одно ядро - одна операция в конкретный момент времени.

Answer 1

[nirvimel]

Многоядерность сама по себе никак не связана с вычислительным конвейером. На каждом ядре свой конвейер и его работа не зависит от других ядер.

Суть многоядерности в том, что каждое ядро выполняет свой вычислительный поток. На N-ядерном процессоре в каждый момент времени параллельно выполняются N потоков.

Поэтому количество ядер процессора может влиять на производительность только многопоточных программ. Любая программа, в которой не предусмотрена многопоточность и распараллеливание нагрузки между потоками, не получит никакого преимущества в скорсти при апгрейде одноядерного процессора до 16-ядерного (при той же тактовой частоте).

Comments

[Яков Е]

Вот прям в каждый момент времени на уровне железа n потоков?

[Яков Е]

Яков: Я нигде не говорил, что многоядерность связана с конвеером. Я говорил, что картина в вопросе в целом верная, но операций на каждом такте выполняется больше одной.

[Яков Е]

Хотя если количество потоков равно количеству ядер, то тут, конечно, верно, о чем сказал топикстартер.

[nirvimel]

Яков: Ок. Я убрал упоминание вас в своем посте.

[V0LMAG]

Выходит, единственный эффективный подход для выполнения задач, которые требуют одновременного выполнения большого количества операций (вроде построения искусственных нейронных сетей) - использование массово-параллельной архитектуры?

[Яков Е]

V0LMAG: вы как-то резко прыгнули из области архитектуры процессора в область многопроцессорных систем и суперкомпьютеров. С нейросетями вполне можно работать и на одной машине, и на суперкомпьютере, зависит от размера задачи и доступных ресурсов.

[V0LMAG]

Яков: меня интересует выбор системы для построения сложных нейронных сетей. Для машинного обучения, например. Как я понимаю, на однопроцессорной системе этого реализовать нельзя, поэтому для сложных задач с нейронными сетями выбирают суперкомпьютеры. Пишу статью, пытаюсь разобраться в теме.

[Яков Е]

V0LMAG: сложные нейронные сети это какие? Реализовать на одной машине можно что угодно, весь вопрос во времени на вычисления.

[nirvimel]

V0LMAG:

Как я понимаю, на однопроцессорной системе этого реализовать нельзя,

Нет. Многозадачные ОС (начиная с конца 80х годов) обеспечивают виртуальную многопоточнось на одноядерных ЦПУ, так, что для любой многопоточной программы реальное количество ядер не заметно.

[Яков Е]

nirvimel: Что нам мешает работать с нейросетью в однопоточном режиме? Даже не на однопроцессорной, а на одноядерной машине.

[nirvimel]

V0LMAG:

требуют одновременного выполнения большого количества операций (вроде построения искусственных нейронных сетей)

Большого количества операций - да требуют.
Одновременное исполнение - нет таких алгоритмов, которые бы это требовали.
Сам алгоритм вообще не может знать что происходит в физическом мире одновременно, а что нет.

[V0LMAG]

Яков: такие, которые через облако могут максимально быстро обслуживать аналитические центры исследовательских корпораций. Но я уже сам понимаю, что на однопроцессорной системе такого реализовать нельзя.

[nirvimel]

V0LMAG:

Но я уже сам понимаю, что на однопроцессорной системе такого реализовать нельзя.

Все зависит от вычислительной мощности, а не от количества потоков.

[V0LMAG]

Итак, нейронную сеть можно построить даже на одном процессоре с одним ядром. Единственная причина выбора массово-параллельной архитектуры для такой задачи - ускорение вычислений. Верно?

[Яков Е]

V0LMAG: Верно. Только термин массивно-параллельная — тут не корректен, это всего лишь подвид многопроцессорных систем.

[nirvimel]

V0LMAG: Да.
Существует даже обратная проблема - не любой однопоточный алгоритм возможно распараллелить в несколько потоков. Одноядерный кристалл на частоте 100500 мегагерц - мечта всех кто работает с тяжелыми вычислениями.

[V0LMAG]

Ясно, всем огромное спасибо за информацию!

Answer 2

[Яков Е]

На самом деле похоже на правду, с поправкой на наличие вычислительного конвейера, из-за которого за такт выполняется больше одной операции. Вот обзорная статья на эту тему: Путешествие через вычислительный конвейер процессора