Что такое asyncio и в чём реальное отличие от многопоточности?

Question

[Александр Момот]

Раньше были promise (по части javascript) и в основном в тренде было обсуждать многопоточное программирование - создание тредов и управление ими: как правильно расставлять семафоры, ждать/не ждать события и т.д.

Сейчас много говорят про корутины и асинхронное выполнение кода т.н. asyncio (если говорить терминами python). В чём главное отличие в многозадачных операционных системах этого подхода, преимущества и недостатки, зачем оно вообще понадобилось и чем отличается от многопоточного подхода, когда ваше приложение создаёт несколько threads и они работают как бы параллельно?

Есть ли реальные примеры которые используют такой подход?

Answer 1

[Сергей Горностаев]

Один человек ставит кастрюлю на плиту, ждёт пока она закипит, закидывает пельмени, ждёт пока сварятся, снимает, ставит вторую, ждёт пока закипит... - последовательное однопоточное выполнение.

Один человек ставит две кастрюли на плиту, как только одна из них закипела, забрасывает пельмени и т.д. - асинхронное выполнение.

Два человека ставят две кастрюли... - многопоточное выполнение.

Очевидно, что при асинхронном выполнении ресурсов требуется меньше, а скорость та же, что и при многопоточном. Именно поэтому проблема c10k могут решать только асинхронные сервера. Минусы в том, что асинхронный код сложнее и не всё можно выполнять асинхронно.

Comments

[Александр Момот]

В целом, очень дельное объяснение! Спасибо!

[nirvimel]

Очевидно, что при асинхронном выполнении ресурсов требуется меньше, а скорость та же

Справедливо только для пельменей, приготовление которых состоит на 99% из ожидания завершения предыдущей фазы процесса (I/O bound task).
При приготовлении салата, например, когда требуется активное участие повара в каждой фазе процесса (CPU bound task), общая производительность будет значительно зависеть от количества поваров (многопоточно), а в одиночку повар приготовит десять порций салата параллельно (асинхронно) не на много быстрее, чем последовательно (однопоточно).

[Сергей Горностаев]

nirvimel: ага, я в конце написал, что не всё можно асинхронить.

Answer 2

[res2001]

apache - многопоточный веб-сервер.
nginx - асинхронный.
Угадайте почему на задачи обслуживающие 100500 запросов в секунду ставят nginx?

Comments

[Александр Момот]

Видимо, потому что он асинхронный. Хороший пример! Но это всё же не отвечает на вопрос, в чём базовое отличие асинхронного кода от многопоточного

[res2001]

Александр Момот: Базовое отличие в том что в многопоточном приложении используются блокирующие вызовы ввода/вывода (т.е. приложение ждет, когда закончится операция ввода/вывода), в асинхронном - не блокирующие (возврат из операции ввода/вывода происходит сразу же, до реального завершения операции).
Соответственно сложность в разработке асинхронных приложений в том, что нужно так построить внутреннюю архитектуру приложения, что бы оно после вызова операции ввода/вывода могло в дальнейшем проверить состояние операции, предпринять какие-то действия, при ошибочном завершении, если нужно - повторить операцию и т.п., ну и попутно выполнить какие-то полезные действия не связанные с вводом/выводом.
В многопоточном приложении таких проблем нет, т.к. результат операции сразу известен и можно сразу же отреагировать.

Плюсы от использования асинхронного ввода/вывода в том, что нет накладных расходов на организацию и управление потоками. Когда у вас в приложении 1-10 потоков, то на это можно наплевать и не заморачиваться, а когда 1000 потоков, то уже есть смысл задуматься про асинхронный ввод/вывод.

И еще - асинхронный ввод/вывод есть смысл использовать если основная нагрузка в приложении именно на вводе/выводе. Т.е. когда операции ввода/вывода становятся узким местом в приложении и начинают тормозить остальной процесс.