Ответ связан с такими метриками производительности, как latency и throughput.
Latency - временной интервал между отправкой запроса и получением ответа.
Throughput - скорость обработки запросов (requests per second).
Latency влияет на throughput. Больше latency - меньше throughput.
Если бизнес транзакция состоит из последовательных вызовов нескольких сервисов, которые не могут быть распараллеленны, тогда вычислительные ресурсы для узлов кластера должны вибираться таким образом, чтобы достичь требуемого latency, так как добавление дополнительных экземпляров сервисов (горизонтальное масштабирование) не будет иметь влияния на latency.
Добавление дополнительных экземпляров сервиса увеличивает throughput (при условии отсутствия bottleneck-ов).
То есть, выбирайте CPU и RAM таким образом, чтобы время ответа сервиса было оптимальным, а для обработки большего количества запросов одновременно, добавляйте новые экземпляры сервиса.
