@Ted7021

При запуске 100 задач (Job Array) на AWS Batch около 25 запускаться сразу, а остальные ждут в статусе RUNNABLE. В чем ограничение?

Я запускаю Job Array в AWS Batch в среде Fargate Spot. Основная цель - как можно быстрее выполнить некоторую работу. Когда я запускаю 100 джобов, я ожидаю, что все эти джобы будут выполняться одновременно. Но только около 25 из них запускаются сразу, остальные ожидают выполнения со статусом RUNNABLE.

Джобы выполняются в вычислительной среде с макс. 256 CPU. Каждое задание использует 1 ЦП.

Я не нашел никаких ограничений или квот, которые могут повлиять на процесс выполнения джобов.

Что может быть причиной того, что запускаться не все сразу, а только часть из них?
  • Вопрос задан
  • 91 просмотр
Решения вопроса 1
@Ted7021 Автор вопроса
Обратился по этому вопросу в AWS Support. Они подтвердили проблему, но решения для нее не нашли.
Посоветовали использовать On-Demand вместо Fargate когда нужно выполнить большой обьем задач как можно быстрее.
После перехода на On-Demand provisioning model проблема решилась.
Теперь запускается максимальное кол-во конкурентных задач, указанное в настройках compute environment.
Это как раз то что мне было нужно.
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы