Как определить оптимальное количество контейнеров в зависимости от железа?

Question

[m-kicherov]

Нужно скачать много файлов pdf. В реддисе лежат задачи на скачивание. Есть микросервис на питоне контейнеризированный, который берет из редиса задачу и скачивает файл по rest api. Поднимаю несколько контейнеров через docker-compose scale, чтобы задачи на скачивание выполнялись параллельно.

Вопрос: процессор i7-6700 4 ядра 8 потоков, ОС ubuntu 20.04. Есть ли смысл делать scale > 8, и почему? Или контейнеры будут ждать друг друга и одновременно будут работать только 8?

Comments

[Drno]

Зачем тебе докер?

Answer 1

[rPman]

боже мой, сюда то зачем контейнеризацию притянули?

тебе нужен ОДИН контейнер в который передаешь что то типа
parallel -j N < list_commands.cmd
где N это количество одновременных потоков а в list_commands.cmd в каждой строчке по команде
wget http ... -o fileXXX.log -O filename

wget тратит очень мало ресурсов, ты можешь запустить тысячу процессов и это потребует от силы гигабайт ram и совсем не затронет процессор, поэтому лимит на количество подключений определяет удаленный сервер и ширина канала провайдера

напиши простенькое приложение, которое будет формировать список команд (можно даже на лету и передавать через пайпы), приписывать каждой ссылке сввое имя файла и свой лог файл, смотреть какие файлы уже созданы и какие ошибки в логах

Comments

[m-kicherov]

Спасибо, подумаю как это можно применить в моей задаче. Я не уверен что мне подойдет формирование файла со списком команд, задачи на скачивания приходят постоянно пачками по несколько тысяч от другого сервиса в редис, и выполняются по мерепоступления. И парсить логи не сильно хочется на ошибки...

[rPman]

ну вот уже другая задача а не разово скачать много pdf не так ли?

wget я предложил только потому что оно уже кем то написано и вполне работает эффективно
не хочешь парсить логи, в своей программе запили загрузку файлов, это скопировать пяток другой строчек из примера документации, и обрабатывай ошибки как есть, в своем приложении ты так же можешь и многопоточность запилить (асинхронные методы даже потоков не потребуют)

parallel я предложил так же как готовый инструмент по запуску приложений паралельно, автоматически поддерживая их количество запущенных

Answer 2

[Vitaly Karasik]

Правильный (ИМХО и AFAIK) хотя и непопулярный ответ - надо проверять\мерять производительность при разном кол-че контейнеров. Теория тут не очень помогает. Скорее всего, как уже сказали, оптимальное кол-во контейнеров будет намного больше чем кол-во процессоров.