Как всё таки работает асинхронность?

Question

[DollyPapper]

Привет. Пытаюсь для себя всё таки разобраться как под капотом работает асинхронность.

1. Верно ли я понимаю, что полное название асинхронности это Асинхронный I/O и именно I/O операции могут быть асинхронными?
   
2. Исходя из первого вопроса и концепции "Всё есть файл" вся асинхронность строится на API мультиплексированного ввода-вывода ОС (pool/select/epool | KQueue | что-то аналогичное в винде) который предоставляет ОС?
   Судя например по описанию NodeJS, а вернее libuv который реализует eventloop

libuv is a multi-platform C library that provides support for asynchronous I/O based on event loops. It supports epoll(4), kqueue(2), Windows IOCP, and Solaris event ports

моя догадка верна.

Понимаю, что выглядит так, как будто и вопроса тут никакого нет, просто хочу удостоверится и получить ответ от знающий людей, прав ли я в том, что я написал, или ошибаюсь.

Answer 1

[Alexandroppolus]

То что написано - это асинхронный I/O. Может ещё быть асинхронное вычисление, запускаемое в отдельном потоке. Ещё бывает дурацкий вариант, когда синхронное I/O запускается в отдельном потоке, который просто ждёт.

Comments

[DollyPapper]

Может ещё быть асинхронное вычисление, запускаемое в отдельном потоке

Этот поток запускаем мы или среда? Потому что понятно, что event loop так и так крутится в отдельном потоке.
Если этот поток запускаем мы, то это ли не параллелизм, а не асинхронность?

[Alexandroppolus]

DollyPapper, поток запускает среда выполнения по нашей просьбе.

Нодовский event loop крутится в основном потоке, том же самом, в котором выполняется твой js-код.

Асинхронность - это когда запустили задачу, и сразу можем переходить к другим действиям, не дожидаясь её завершения. Неважно, кто её взялся исполнять - отдельный поток (для вычислений) или например сетевая подсистема (для I/O), главное что задача выполняется "где-то отдельно".

[DollyPapper]

Alexandroppolus, да, по event loop я не правильно сказал. Понял вас, спасибо за объяснение.

Answer 2

[TheAthlete]

Верно ли я понимаю, что полное название асинхронности это Асинхронный I/O и именно I/O операции могут быть асинхронными?

Более точное название (определение) - это неблокирующий ввод-вывод и использование одного из методов мультиплексирования ввода вывода (epoll в linux; kqueue в *BSD-системах; IOCP в Windows). В подавляющем большинстве случаев под неблокирующим вводом-выводом понимается сетевой ввод-вывод. Например создается сокет с помощью системного вызова socket с установкой флага O_NONBLOCK (непосредственно в функции, либо с помощью функции fctl для созданного сокета)

Blocking I/O, Nonblocking I/O, And Epoll
Асинхронный ввод-вывод средствами POSIX

Answer 3

[Inviz Custos]

DollyPapper, возможно Вам поможет мой ответ на один из вопросов (там есть продолжение в комментариях) - https://qna.habr.com/q/684952#answer_1481656

Comments

[DollyPapper]

Да, в купе с остальными ответами вы ответили на множество моих вопросов, даже которые еще не возникли. Спасибо!

Answer 4

[Vindicar]

Передразнивая одного человека, асинхронность это кооперативная многозадачность плюс цикл обработки событий.

Упрощенно, есть набор функций, умеющих приостанавливать и возобновлять своё выполнение - корутин.
Корутины обычно приостанавливают своё выполнение после запроса операции ввода/вывода, но могут и по другим поводам - например, просто ожидание, или ожидание завершения другой корутины, или ещё что.

Ядром асинхронной программы является паттерн "реактор" - рабочий цикл. В контексте клиентского JS это рабочий цикл браузера, в контексте ноды - что-то отдельное, я полагаю (с нодой не работал).
Цикл делает следующее:
- ожидает завершения одной из операций ввода/вывода или ожидания (любой)
- определяет, какая корутина ожидала эту операцию
- передаёт ей управление
- корутина делает своё дело, обрабатывая результат операции
- потом корутина либо завершается, либо планирует еще одну операцию. И цикл возобновляется.

Отсюда и вытекают все плюсы и минусы. С одной стороны, переключение между корутинами происходит в явно указанные моменты времени, так что меньше возни с синхронизацией.
С другой стороны, длинные вычисления так не распараллелишь - только ввод/вывод. Ну или в длинном вычислении время от времени делать паузу, но выигрыша все равно не будет. Так что это имеет смысл только для IO-bound программ.

Comments

[DollyPapper]

Спасибо, как эвент луп работает я понимаю, вопрос был в другом именно в моменте ухода таски в ожидание. Как потом движок понимает, что у нас есть результат асинхронной операции (не важно что имеется в виде под результатом, данные или ошибка), и понимает, что можно передавать управление корутине которая ожидала результат. А именно вопрос в том, что это реализовано через системный вызов select (pool/epool), или в ноде или браузере это реализовано как-то еще.

[Vindicar]

DollyPapper, ну если вопрос к реализации, то скорее всего через select(), хотя есть варианты. Под виндой своя специфика, там select() более ограничена, так как не умеет обрабатывать файлы. Например, в питоне есть разные реализации event loop на базе разных системных вызовов. Как это сделано в ноде или в браузерах - врать не буду, не знаю. =) Но можно посмотреть исходники.

[shurshur]

DollyPapper, есть системный вызов select (а также poll и некоторые другие реализации примерно того же). Суть их в том, что передаётся массив файловых дескрипторов, и либо в некоторых случаются события - тогда системный вызов досрочно возвращает программе список тех, где они произошли - либо случается таймаут. Собственно, event loop содержит в себе список всех асинхронных дескрипторов ввода-вывода (сеть, файлы, консоль итд), и когда программа вызывает операцию, явно или неявно дёргающую асинхронный движок, тот делает select на всё что у него есть и затем передаёт управление какой-то из тех задач, где произошёл ввод-вывод. Собственно, становится понятно, почему если операций, относящихся к движку, в программе мало, то асинхронный подход работает плохо.

Answer 5

[res2001]

Асинхронным может быть что угодно, просто для ввода/вывода есть средства в ОС, для остального требуется писать самому (используя многопоточность или другой вариант параллельного исполнения) или использовать библиотеки.
В целом принцип такой: вы даете задание и это задание как-то чем-то исполняется, не зависимо от вашего потока, должен быть механизм оповещения/опроса о состоянии задания, возврат ошибок/исключений/результата.

Из всего асинхронного API, которое я видел пожалуй наиболее "асинхронным" является "POSIX asynchronous I/O", это когда вы вызываете асинхронный read/write, а для обратной связи используется сигнал (в винде ничего похожего нет). Он наиболее асинхронный потому, что основному потоку не надо никак опрашивать состояние задания - система сама прерывает поток сигналом в произвольный момент. Этот механизм используется довольно редко. Наиболее употребимы select/poll/epoll, в том же libuv используется poll (в винде IOCP).

Answer 6

[Виктор П.]

мне понравилась коротенькая книжка
Асинхронное программирование в C# 5.0 | Дэвис Алекс
Там всё разложено по полочкам не только под c#, сама концепция
https://www.ozon.ru/product/asinhronnoe-programmir...