Где можно прочитать много про реальный проект с балансировкой и распределенной нагрузкой?

Question

[das_hund]

Здравствуйте,
есть сайт Ивана Блинкова и подобные там вкратце описываются вконтакте и т.д. их архитектура.
Есть краткие статьи типа вот этой www.aosabook.org/en/distsys.html
Есть также большие учебники по конкретным системам типа -Redis, Mongodb, Hadoop, оптимизация Mysql и т.д.
Но.
Нет нигде описания конкретного реального highload проекта. Меня не интересуют Facebook или flickr.
Интересуют более реальные небольшие примеры.
Но разрез тематики таков:
архитектура серверов - схемы реальные балансировщики, серверы, запросы как идут куда, как применяются алгоритмы типа карусельная балансировка, как строится иерархия серверов, какие системы как настраивают - nfs там или еще что-то. Dns - балансировка. Хранение данных распределенное.
Всякие fpm fork и т.д.
Все в комплексе на практическом примере.
Есть общие статьи опять как на Битрикс сайте - схема общася nginx прокси отдает статику за ним сервер и репликация баз данных. Но это слишком общее опять же.

Есть специалисты кто каждый день этим занимается и может дать курс - реальные книги на английском или на русском. Наверняка на русском мало таких книг.
Мне один мужик давал, несколько лет назад, но я потерял ссылку и связь с ним. Он в каком-то самодельном highload проекте работал. Но его больше нет на горизонте.

Если кто дельные вещи может подсказать, пожалуйста. Но только просьба не пишите общие вещи типа, устройся в хайлоад проект и узнаешь или изучи сначала windows. Прочитай Таненбаума.

Answer 1

[0ct0g3n]

Для начала нужно выбросить Битрикс

Answer 2

[Пума Тайланд]

ВОт вы зря так думаете что на битриксе написано что то общее, там как раз написано примерно так как все делают.
99.99% проектов в интернете не используют каких то хитрых схем.
в общем то схема самая обычная всегда
на фронте любой балансировщик чаще нгинкс реже лайти или ха прокси
бд чаще всего мастер слейв репликация для разделения записей и чтения с двух серверов
сервера апликация чаще всего какой нибудь php-fpm для php или uwsgi для python.

Comments

[das_hund]

Спасибо!
А вы в каком-нибудь проекте работали высоконагруженном?

[Пума Тайланд]

das_hund: бывало

[kazmiruk]

das_hund: добавлю разве что шардинг еще в качестве горизонтального масштабирования. Тут получается, что прочитав про отдельные элементы системы начинаешь понимать что каждый из них умеет. А уже потом пытаешь собрать пазл - где лучше nginx, как организовать базу, когда кеш необходим, а когда будет только хуже от него и т. п. Т. е. лучше всего взять и изучить возможности каждого компонента, готового рецепта не удавалось найти, да и польза его сомнительна, так как не учитывает особенности конкретного проекта

Answer 3

[sevmax]

При построении проекта делайте так, чтобы падение нескольких случайных серверов не уронило весь проект.
Если используете балансировщик - значит надо уметь перебрасывать IP на запасной, если основной "ушёл". Если строите базы данных - значит надо автоматически выбирать нового мастера, если старый ушёл в даун, а падение слейва не должно коснуться производительности никоим образом.
Не используйте один сервер для обеспечения работы важных задач, используйте дублирование где только можно.
Ну и следите, чтобы у хостера дублирующие серверы были расположены с разных подсетях, чтобы сервис продолжал работать при неполадках во внутренней сети хостера.

Удачи вам!

Answer 4

[SilverSlice]

Не реальный проект, но всё же много практической информации: ruhighload.com