Конкретно Google не очень удачный пример, там все дублированно на уровне железа. Поэтому потушив один сервер, все запросы переключатся на второй.
Ну и в крупных компаниях тоже самое, все сервисы дублируются, и выключение одной железяки не влияет на работу в целом.
В мелких просто обслуживание выполняется в нерабочее время или в период наименьшей нагрузки