Почему docker exec выполняется очень долго и есть ли способ ее ускорить?

Question

[S1riyS]

Я создаю контейнер:

docker run -it -d --env TIMEFORMAT=\n%3R --name python_container -v (текущая директория)\temp:/temp docker_python_runner bash

Через команду exec запускаю скрипт внутри контейнера:

docker exec -i python_container bash -c "time python temp/temp_file.py" 2>&1

Допустим, это будет скрипт, который просто складывает 2 числа (например, stdin: 5 10).

Вывод:

15
0.025

Т.е результат работы программы: 15, время выполнения скрипта: 0.025, при том что общее время выполнения команды exec - 1.0805566310882568

Все команды я запускаю из python скрипта при помощи библиотеки subprocess:

result = Popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE, shell=True, encoding='utf-8')
stdout, stderr = result.communicate(input=stdin, timeout=5)

Моя операционная система - Windows

Вообще все это делается для тестирования пользовательского кода => я запускаю одну и ту же exec команду раз 15 - 20. Как ускорить ее выполнение и может быть есть способ как то оптимизировать именно этот момент?

Comments

[spaceatmoon]

Как пишут разработчики, лучше не тестировать приложения на своих машинах, а тестировать непосредственно на похожем железе или мириться с просадками.

Заметил у себя, пакет npm устанавливает в 3 раза дольше пакеты, нежели напрямую из windows. Виртуализация слишком сильно бьёт по производительности даже на мощном железе.

При выполнении команды exec происходит тоже много тяжелых процессов. Возможно зайдя во внутрь контейнера станет полегче.

https://docs.docker.com/engine/reference/commandli...

Answer 1

[Александр Карабанов]

Под Windows приходится запускать Linux в виртуальной машине, чтобы запустить Docker контейнер (ведь Docker построен на Linux-овых Napespace и Cgroups), а это требует много ресурсов.

Попробуй сначала зайти в контейнер: docker exec -it python_container bash
И потом запускать скрипт: time python temp/temp_file.py

Попробуй использовать WSL2 - это должно изменить ситуацию в лучшую сторону, но всё равно до нативных показателей будет далековато.

Comments

[S1riyS]

Спасибо за ответ, кстати, я уже использую WSL 2. Меня интересует еще один вопрос, вообще, моя тестирующая система это сайт и когда я размещу его на хостинге, например heroku, где используются операционные системы Debian или Ubuntu, нужно ли мне будет заходить внутрь контейнера, чтобы все работало быстро?

[Александр Карабанов]

S1riyS, не знаком с heroku, но подозреваю, что там софт запускается в контейнерах на нативном Linux без оверхедов на виртуализацию и если зайти в консоль ты сразу попадёшь внутрь контейнера.

[S1riyS]

Александр Карабанов, а если оставить вход в контейнер, то не возниктнет конфликтов?

[Александр Карабанов]

S1riyS, не совсем понимаю о каких конфликтах идёт речь. Контейнеризция, как раз предназначена для изоляции приложения от остальной системы с целью избежания каких бы то ни было конфликтов.