Sergey

MPLS over GRE, например.
Ну или, если попроще, то OpenVPN умеет через TAP-устройство растягивать ethernet.

В теории всё просто. Ставим 10 бекендов с LAMP, перед ними один-два сервера с nginx, балансируем его средствами. Это вариант попроще (дешевле).
При наличии хорошего финансирования вместо nginx покупаем промышленные балансировщикиконтроллеры доставки приложений: Radware, Crescendo, Cisco ACE, F5, Citrix, etc.
Куда сложнее сделать нормальный кластер для СУБД.

дайте хотя бы вывод top на момент этой загрузки.

вы действительно полагаете, что профит от nginx только в раздаче статики? Балансировка, не? Да просто терминирование tcp, чтобы не плодить тысячи воркеров апача для медленных клиентов, не? SSI? Кеширование? Продолжать?

реалтайм с nginx'ом не выйдет, только парсить логи. Теоретически, можно делать пайп в мускуль, для более-менее приближенного к реалтайм.

только если будет «посредник» между этой вашей вдс-кой и клиентами. Например реверс-прокси (nginx, lighttpd, varnish, etc.), либо железка-балансировщик (cisco ace, crescendo, f5, citrix, etc.), которые могут определить, что бекенд лёг и перенаправить куда-либо трафик. Как правило на резервный сервер. Но тут точкой отказа будет этот узел. Далее — только средствами BGP.

1)

А она требует директиву веб-сервера AllowOverride All

Эта директива просто обозначает, что программа где-то в своих директориях подсовывает .htaccess
Опишите его аналог средствами nginx.

2) Зачем вам php-fpm? Вы правильно понимаете смысл замены mod_php на php-fpm?

вам нужен не nginx. Это реверс-прокси. Вам нужен прямой прокси. Сквид подойдёт.

рекомендую обратиться в офф. рассылку nginx. Там вам профессионально подскажут (и даже напишут) самый оптимальный вариант. Бывает и Игорь собственноручно. Зачастую от монстровых реврайтов с регэкспами остается всего парочка простых location'ов.

По nginx. Рекомендую.

Рекомендую по вопросам настройки nginx обращаться непосредственно в официальный список рассылки. Там максимальная концентрация весьма компетентных в данном вопросе людей, в т.ч. и сам автор часто отвечает. Получите максимально верный вариант.

да нормальный способ с парсингом лога. Заведите отдельный лог для картинок и считайте его.

дык задайте ему:
server_name ваш.нелишний.дом.ен

классическую связку из Apache:8080+Nginx:80+FastCGI

WTF? Вы уж определитесь — либо апач, либо fastcgi. Классическая связка это
nginx:80 --> apache:8080, либо:
nginx:80 --> fastcgi(php-fpm):8080