Что такое Потоки на уровне ОС? В 1-ядерном процессоре же всего 1 поток?

Question

[Даниил]

Потоки являются эмуляцией ОС. Насколько я понимаю процессор о них не знает.
Пара Вопросов про потоки.
Как они используют Кеш? Они же мешают друг другу.
Есть ли реализации Эмуляции потоков или асинхронности на гитхабе? Может там код Unix? Но как там искать и где не знаю.
Почему с помощью распарализации потоков можно получить выигрыш в скорости вычислений? Это же каждый поток будет постоянно грузить в регистры свои снимки, сохранять, загружать. Промахов по кешу будет больше.
Сколько инструкций за раз выполняется 1, 10, 100? До прерывания? От чего зависит.

И К примеру выполняется такие команды, как пример инструкция чтения строки из stdin, почему вся ос не глохнет. Типа что в этот момент ожидания времени происходит, Или что ОС все 1000 потоков переключает там каждую 0.0001 секунды?
И этот вопрос решается с помощью асинхроности и калбека. Тогда почему вообще вся ОС не асинхронная в одном потоке как Node JS?

Comments

[12rbah]

1000 потоков переключает там каждую 0.0001

Физический максимум потоков число ядер умноженное на 2, если есть 1000 искусственных, то зависит от того как работает планировщик потоков, + обычные ситуации, когда поток обновляет gui раз в 300-400мс (т.к. чаще особо смысла нет).

Если хотите немного разобраться в этом, почитайте про потоки у таненбаума страниц 20 хотя бы.

[shurshur]

В 1-ядерном процессоре же всего 1 поток?

Threads в процессоре и threads в операционной системе/прикладном ПО - разные вещи.

Тогда почему вообще вся ОС не асинхронная

В каком-то смысле она и есть асинхронная. Реагирует на системные вызовы, на события, а в остальное время работает пользовательский софт либо всё засыпает в ожидании причин проснуться.

[Даниил]

shurshur, а threads в процессоре есть? Или это к так называются сигналы прерывания irq типа пришли данные с клавы или мышки.

[shurshur]

Даниил, можно представить себе "треды" (hyperthreading) в процессоре как имитацию полноценных процессоров без настоящего дублирования компонентов процессора в камне, в отличие от "ядер" (core). С точки же зрения софта и то, и другое - самостоятельные процессоры.

А треды в программистском смысле - это возможность исполнять код параллельно в пределах одного процесса с одной и той же общей памятью. Это совсем другое. Кстати, далеко не всегда треды исполнены в виде настоящих или псевдопроцессов, например, треды могут быть реализованы как особенности исполнения байткода в однопоточной виртуальной машине.

Answer 1

[Армянское Радио]

Потоки переключаются с квантом около 28 миллисекунд или около того.

Да, если навертеть много потоков, кэш будет вымываться. А вы думали, в сказку попали? Хорошие HPC программы не запускают тредов больше чем ядер.

Почему с помощью распарализации потоков можно получить выигрыш в скорости вычислений?

Потому что надо аккуратно программировать, не допускать переключения контекстов (не дергать ядро почем зря, а то с некоторых станется) и не запускать тредов больше, чем в системе есть ядер.

Тогда почему вообще вся ОС не асинхронная в одном потоке как Node JS?

Поздравляю вас с изобретением Windows 3.1. Вы наверное не застали, но эта ОС наглухо зависала вместе с приложением, если оно зависало.

Comments

[uvelichitel]

Прерывания придумали в эпоху mainframe и тредов там было столько, сколько клиентов а не ядер. Я пожил, и видел в телефоне однопоточные системы(и даже с кнопками видел). Теперь мой телефон может одновременно докладывать мои персональные данные нескольким интересантам. Не знаю зачем и чем так лучше.

[Saboteur]

uvelichitel, ну вот и сравните многозадачность в виде резидентов, и многозадачность в виде современных unix/windows ядер, с разделением памяти в процессах и грамотном process scheduler.

В первом случае о многозадачности должно думать КАЖДОЕ приложение, которое влезает в прерывание, во втором - операционная система самостоятельно выделяет каждому процессу слайс, и не позволяет сторонним программам модифицировать таблицу прерываний, чтобы не влезать поперек того, как ядро будет командовать кому сколько времени выделять и когда его забирать.

[uvelichitel]

Saboteur, моя рабочая станция, с которой я сейчас пишу, на платформе lga2011 с двумя камнями Xeon4600, что дает мне 40 hiperthread. Собрана для решения частной задачи, а сейчас просто осталась, амортизирую) Шустренькая. В бытовом применении не быстрее разогнаного двухпоточного камня. Вот мне интересно было как эти 40 hiperthread в быту - да никак.

[Saboteur]

uvelichitel, а какие приолжения в бытовом применении у вас умеют в многопоточность и зачем?

[uvelichitel]

Saboteur, именно зачем. В firefox я могу 100500 страниц держать открытыми. На играх не пробовал, у меня *nix(windows недолюбливаю) и видеокарта слабая, позапрошлого поколения(но хотя бы два монитора). Могу полную ноду биткоина(без майнинга) держать в фоне. Могу музыку bitperfect слушать в фоне. Krita Gimp не смогли железяку загрузить. Houdini смог запустить многопоточный рендеринг но мне не надо. Геном расшифровывал , account потерял, а сейчас кажется уже и не нужно. Зачем столько потоков на клиентском оборудовании не умею применить. Я пишу серверное, но оно на серверах и крутится... Да, компилирует с флагом -j40 пободрее.

[Армянское Радио]

Даниил, конкретное время зависит от настроек приоритетов (да и самой ОС - в линуксе это время можно и поменять, пересобрав ядро).

Шаг таймера ОС с этим временем не связан, более того, в не сможете на современном ПК получать задержки с гарантированной точностью в миллисекунду, будет хорошо, если точность составит 5-10 миллисекунд.

Более того, всякие функции с подсчетом системных тиков прямо у себя в доке пишут, что у них погрешность 16 миллисекунд.

[acwartz]

Хорошие HPC программы не запускают тредов больше чем ядер.

логических или физических?

[Армянское Радио]

acwartz, логических. Если программа собрана хорошим компилятором, он так расставит инструкции, чтобы в тот момент, пока в логическом ядре A заняты блоки FPU, в ядре B происходили операции с памятью и наоборот. Тогда HT даст свои +25 процентов к скорости.

Пример такой программы - Intel MKL.

[Saboteur]

uvelichitel, Почитал ваши каменты. Я вообще не понимаю что вы хотите донести.
Что вам не нужна многопоточность? Прекрасно, но зачем это в вопроса "как она работает" ?

Answer 2

[Saboteur]

В многозадачной системе каждый процесс имеет кучу всего - свою область памяти, своего родителя, права доступа, открытые файловые дескрипторы и так далее. Переключение с процесса на процесс - довольно тяжелая задача.

Поток или тред - это грубо говоря возможность запустить несколько "облегченных" процессов парралельно, которые используют один набор дескрипторов, один process ID и могут использовать ту же область памяти.
Поэтому будет быстрее и дешевле просчитать что-то в тредах, чем в двух процессах.

Сколько инструкций за раз выполняется 1, 10, 100? До прерывания? От чего зависит.

Зависит от ядра операционки, а точнее от реализации process scheduler. Обычно все завязано на прерывании по таймеру, поэтому выделяются слайсы процессорного времени - а значит у процессора с бОльшей тактовой частотой будет выполнено больше инструкций за слайс. А дальше - process scheduler может быть довольно умным, выделяя конкретному процессу/потоку несколько слайсов подряд, если считает что так будет лучше.
Но слишком сложной логики у process scheduler быть не может, иначе само переключение будет слишком дорогим.

Comments

[uvelichitel]

Поток или тред - это грубо говоря возможность запустить несколько "облегченных" процессов парралельно

не, у облегченных процессов(зеленых потоков) нет своего стека и они в user space

[Даниил]

а как происходит процесс выделения процессорного времени?
Правильно ли я понимаю, инициируется специальный регистр счетчик значением числом тактов, которые нужно выполнить, и после того как этот регистр обнуляется он отправляет сигнал, и происходит переключение потоков.

[Saboteur]

Даниил, Я же писал в ответе -

Обычно все завязано на прерывании по таймеру, поэтому выделяются слайсы процессорного времени

Если хочется деталей, почитай про устройство process scheduler в интересующей тебя системе.
Если хочется больше деталей - для линукса можно найти исходники CFS

Answer 3

[jcmvbkbc]

И К примеру выполняется такие команды, как пример инструкция чтения строки из stdin, почему вся ос не глохнет. Типа что в этот момент ожидания времени происходит, Или что ОС все 1000 потоков переключает там каждую 0.0001 секунды?

Только готовые к выполнению потоки получают процессорное время. Потоки могут останавливаться в ожидании какого-либо примитива синхронизации, например семафора или мьютекса. Такие потоки не занимают процессор.
Поток читающий из stdin может останавливаться, например, на семафоре, защищающем очередь данных stdin когда она пуста. Какой-то другой поток должен поместить новые данные в очередь stdin и открыть этот семафор, переведя ожидающий поток в состояние готовности к выполнению.

Answer 4

[uvelichitel]

В многоядерном процессоре и в системе с двумя или четырьмя камнями поток исполнения команд будет один или вы потеряете контроль.

Comments

[jcmvbkbc]

В многоядерном процессоре и в системе с двумя или четырьмя камнями поток исполнения команд будет один

почему вдруг?

или вы потеряете контроль

какой контроль? Зачем он нужен, например, двум независимым задачам, не использующим никакие общие аппаратные ресурсы?

Answer 5

[12rbah]

Есть ли реализации Эмуляции потоков или асинхронности на гитхабе? Может там код Unix? Но как там искать и где не знаю.

Ну можете исходники посмотреть какого нибудь ЯП, я видел статью на хабре, про то как парень пишет свой ЯП, говорит что есть поддержка многопоточности (сам не чекал, но мб то, что вам будет нужно)

статья

Comments

[Василий Банников]

Видел статью на Хабре, где чел реализует зелёные потоки в rust при помощи ассемблерных вставок