Обратился по этому вопросу в AWS Support. Они подтвердили проблему, но решения для нее не нашли.
Посоветовали использовать On-Demand вместо Fargate когда нужно выполнить большой обьем задач как можно быстрее.
После перехода на On-Demand provisioning model проблема решилась.
Теперь запускается максимальное кол-во конкурентных задач, указанное в настройках compute environment.
Это как раз то что мне было нужно.