При запуске 100 задач (Job Array) на AWS Batch около 25 запускаться сразу, а остальные ждут в статусе RUNNABLE. В чем ограничение?

Question

[Ted7021]

Я запускаю Job Array в AWS Batch в среде Fargate Spot. Основная цель - как можно быстрее выполнить некоторую работу. Когда я запускаю 100 джобов, я ожидаю, что все эти джобы будут выполняться одновременно. Но только около 25 из них запускаются сразу, остальные ожидают выполнения со статусом RUNNABLE.

Джобы выполняются в вычислительной среде с макс. 256 CPU. Каждое задание использует 1 ЦП.

Я не нашел никаких ограничений или квот, которые могут повлиять на процесс выполнения джобов.

Что может быть причиной того, что запускаться не все сразу, а только часть из них?

Answer 1

[Ted7021]

Обратился по этому вопросу в AWS Support. Они подтвердили проблему, но решения для нее не нашли.
Посоветовали использовать On-Demand вместо Fargate когда нужно выполнить большой обьем задач как можно быстрее.
После перехода на On-Demand provisioning model проблема решилась.
Теперь запускается максимальное кол-во конкурентных задач, указанное в настройках compute environment.
Это как раз то что мне было нужно.