Вот есть точка входа сайта - прокси, который распределяет запросы по серверам логики и отдает ответ. Правильно?
А если этого одного такого прокси не хватает, то как тогда? Несколько таких серверов и некий маршрутизатор перед ними?
1. нода с настроенным HAProxy/Nginx
2. DNS robin round или Amazon Route 53
3. BGP балансировка
4. Использовать для балансировки железо раз и два
5. Балансировкой может заниматься ваше приложение, например если пользователи получают тонкий/толстый клиент в нем может быть описана логика для балансировки по вашему кластеру.
У каждого метода есть своя область применения, свои достоинства и недостатки.