По данному вопросу лучше всего искать/изучать архитектуру систем
Facebook,
Google,
YouTube, etc. Они очень часто выступают с докладами на данные темы.
Если всё же немного конкретики, то думаю, что необходимыми технологиями является знания в проектировании HighLoad систем (
тут можно их доклады с конференций посмотреть),
memcache, mapreduce (
hadoop например), БД для больших, распределенных, нагруженых данных, хранение данных. Многое из всего этого и Яндекс выкладывает
тут. И посмотрите доклады Яндекса со всех YaC'ов.
Можно посмотреть что в Facebook сделали для переноса php на с++ (
транслятор).
В общем, правильным будет отсылки искать в докладах на конференциях, где большие компании рассказывают о своих проблемах и как они их решали.