Надо смотреть и на процессор, и на память, и на io ещё, и если нагрузка превышает определённые пределы, поднимать дополнительные инстансы.
Надо смотреть не только на утилизацию, но и на скорость её изменения, и на длительность поднятия инстанса в вашей среде, и на основе этого определять порог при котором пора масштабироваться.
Вот общий ответ, который можно дать в формате тостера. А так, надо читать много об этом, и думать над вашим конкретным приложением. Ну и набивать шишки при первой реализации...
