Сначала, как правило, все на одном сервере находится. По мере роста нагрузки первой и наиболее очевидной оптимизацией является вынесение базы данных на отдельный сервер. Дальнейшие оптимизации зависят от того, где узкое место. Если, например, это количество запросов к серверу(при этом база данных справляется), то создается "дубликат" сервера, и входящие запросы равномерно распределяются между двумя одинаковыми серверами. Если в какой-то момент база данных начинает не справляться, то оптимизации проводятся применительно к ней. Например, если есть какая-то слишком большая таблица, она может быть разбита не более мелкие по какому-то признаку. Эти более мелкие таблицы могут быть вынесены на другие сервера и теперь у вас и база данных не на одном сервере. В целом способы оптимизации зависят от конкретного случая.