Почему docker exec выполняется очень долго и есть ли способ ее ускорить?

Question

[S1riyS]

Я создаю контейнер:

docker run -it -d --env TIMEFORMAT=\n%3R --name python_container -v (текущая директория)\temp:/temp docker_python_runner bash

Через команду exec запускаю скрипт внутри контейнера:

docker exec -i python_container bash -c "time python temp/temp_file.py" 2>&1

Допустим, это будет скрипт, который просто складывает 2 числа (например, stdin: 5 10).

Вывод:

15
0.025

Т.е результат работы программы: 15, время выполнения скрипта: 0.025, при том что общее время выполнения команды exec - 1.0805566310882568

Все команды я запускаю из python скрипта при помощи библиотеки subprocess:

result = Popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE, shell=True, encoding='utf-8')
stdout, stderr = result.communicate(input=stdin, timeout=5)

Моя операционная система - Windows

Вообще все это делается для тестирования пользовательского кода => я запускаю одну и ту же exec команду раз 15 - 20. Как ускорить ее выполнение и может быть есть способ как то оптимизировать именно этот момент?

Comments

[spaceatmoon]

Как пишут разработчики, лучше не тестировать приложения на своих машинах, а тестировать непосредственно на похожем железе или мириться с просадками.

Заметил у себя, пакет npm устанавливает в 3 раза дольше пакеты, нежели напрямую из windows. Виртуализация слишком сильно бьёт по производительности даже на мощном железе.

При выполнении команды exec происходит тоже много тяжелых процессов. Возможно зайдя во внутрь контейнера станет полегче.

https://docs.docker.com/engine/reference/commandli...

Answer 1

[Александр Карабанов]

Под Windows приходится запускать Linux в виртуальной машине, чтобы запустить Docker контейнер (ведь Docker построен на Linux-овых Napespace и Cgroups), а это требует много ресурсов.

Попробуй сначала зайти в контейнер: docker exec -it python_container bash
И потом запускать скрипт: time python temp/temp_file.py

Попробуй использовать WSL2 - это должно изменить ситуацию в лучшую сторону, но всё равно до нативных показателей будет далековато.

Comments

[S1riyS]

Спасибо за ответ, кстати, я уже использую WSL 2. Меня интересует еще один вопрос, вообще, моя тестирующая система это сайт и когда я размещу его на хостинге, например heroku, где используются операционные системы Debian или Ubuntu, нужно ли мне будет заходить внутрь контейнера, чтобы все работало быстро?

[Александр Карабанов]

S1riyS, не знаком с heroku, но подозреваю, что там софт запускается в контейнерах на нативном Linux без оверхедов на виртуализацию и если зайти в консоль ты сразу попадёшь внутрь контейнера.

[S1riyS]

Александр Карабанов, а если оставить вход в контейнер, то не возниктнет конфликтов?

[Александр Карабанов]

S1riyS, не совсем понимаю о каких конфликтах идёт речь. Контейнеризция, как раз предназначена для изоляции приложения от остальной системы с целью избежания каких бы то ни было конфликтов.

Answer 2

[Rodion]

Это, наверное. не тянет на ответ, но выполнение команды внутри запущенного контейнера, по-моему, и должно быть тяжеловесным.

Я глубоко не изучал этот вопрос, но это ведь подобие виртуализации: только с виртуальной машиной общаются на уровне обычных протоколов, а с Docker контейнером - какими-то своими средствами и на прикладном уровне (насколько я это понимаю).

Что касается ускорения - попробуй сделать скрипт, который будет засыпать на некоторое время и, просыпаясь, смотреть в volume, дёргать оттуда данные, и складывать их; а результат писать в stdout.

Ну и, к слову, открытие подпроцесса - тоже операция не из лёгких, наверное потому и скорость такая. Лучше запустить один главные процесс (без дочерних) и в нём выполнять все необходимые операции.

Или ещё один вариант - собрать свой образ, зашить туда ENTRYPOINT в виде твоего скрипта, и передавать туда данные для вычисления.

В общем вариантов много.