Kvm over ip помогает решить все проблемы, кроме сгоревшего железа. Поэтому хорошо, когда нода в своём городе. По финансам — для начала достаточно два небольших сервера с виртуализацией. Ставите на каждый машины haproxy, приложение и базу. Haproxy смотрит не упало ли что, базы синхронятся, приложение одно — спит, другое — работает. Haproxy, естественно не догма. Ну и фаерволов на сдачу.
Да, а в облаке, обычно, это делают за нас. Разносить по регионам ноды неприятно, придется ездить к ним в гости =). Имеет смысл ставить вторую ноду, например, в Амстердам, чтобы отдавать много трафика за границу и работать при отключении света во всей Москве. Конечно, если это действительно нужно.
Будет делать СХД на нужное количество винтов. Наверное. =) Вне зависимости от выбранной базы данных проблему места придется решать.
Работать база будет значительно быстрее файловой системы, особенно при большом количестве мелких файлов, яркий пример тут www.insight-it.ru/masshtabiruemost/arkhitektura-facebook/ глава «хранение фотографий». Мы сталкивались с этой ситуацией, сильно упала производительность. Разнести на разные машины можно и базы данных, управлять получением файлов из баз будет проще, чем из файловой системы. По-хорошему, в зависимости от задачи нужно продумывать нормальный шардинг, т.к. хранить здоровые файлу и рабочие таблицы в одной конфигурации действительно не стоит, но она сформулирована в общих чертах, поэтому и рекомендации — общие.
Безусловно. Просто когда на балансе висит много софта налоговики (а порой и бухгалтеры) начинают задавать очень странные вопросы. Именно странные, без подтекста.