Пума Тайланд

Зависит от настроек
Может и рацнробин и главный резервный или много серверов и выключать те которые упали по хттп проверяя их
Заюзайте роут53 или аналог для хостинга днс там все это есть и даже больше

слишком много перенаправлений
очевидно что балансировщик и все узлы кластера должны стоять в одном месте иначе это полностью теряет смысл, отправляйте тогда поисковый запрос сразу на поисковый сервер ближайший. нахрена тут какой то балансировщик и перенаправление ? просто еще одна точка отказа и дополнительный узел чтобы увеличить время ответа что ли?

Самое тупое подымайте два впна и если один упал то просто перекидывайте роуты на второй скриптом или каким нибудь оспы.

Балансируйте нгинксом там это банально делается

так это сеть провайдера что вы собираетесь что то анонсить если у вас нет своей подсетки и ас.

поставьте несколько ядер на сервер, если приложение однопоточное, то юзер использует только одно ядро и остальные будут свободны.

ВОт вы зря так думаете что на битриксе написано что то общее, там как раз написано примерно так как все делают.
99.99% проектов в интернете не используют каких то хитрых схем.
в общем то схема самая обычная всегда
на фронте любой балансировщик чаще нгинкс реже лайти или ха прокси
бд чаще всего мастер слейв репликация для разделения записей и чтения с двух серверов
сервера апликация чаще всего какой нибудь php-fpm для php или uwsgi для python.

нигде, поставьте сами нгинкс если вам облако не надо
оно везде почти как нгинкс или хапрокси работает.

Ну нгинкс легко релоадит конфиг без убивания текуших коннектов если надо дешево.
Или у вас изменения ежесекундно происходят?

Ну стандартно через днс автоматом перекинуть на другой дц, причем тут раундробин не очень понятно.

nginx решает

репликация решает
панацей нет ни у кого

В целом это все далают сами.
Берешь статистику скачиваний, выбираешь топ копируешь на другие сервера и раздаешь с них самый популярный контент.

Обычно у серверов по две сетевки, по вторым сетевкам соедините два сервера и сделайте шару между ними, будет у вас как бы копия всего контента на втором сервере.
То есть расширите канал до 2 гигабит

на сайте определяете по айпи откуда клиент и раздаете ему из нужного датацентра все.
дайте ссылку на ваш сайт.

Хренасе у вас запросы, вам тут циско не за 200 а за 2000 баков нужна.