Как выдержать нагрузку?

Question

[Evgeny Svirsky]

Всем привет.
Планируется большая реклама портала. 4 млн пользователей. Вопрос - как технически выдержать такую огромную нагрузку? Уверен что даже отличное железо не справится. Может кто имел такой опыт? Поделитесь плз.
Слышал что можно распределять запросы. Как можно распределить запрос на 5-10 серверов. Какой стек технологий в этом случае?
Портал написан на symfony.

Спасибо.

Answer 1

[Bowen]

Посмотрите тут вдруг вам поможет.

Comments

[Evgeny Svirsky]

спасибо

Answer 2

[sim3x]

4kk / (60*60*24) = 46 rps
hiload
lol

nginx ( + lua scripts) or nginx plus
настроить апстрим на 1-2 сервера
на серверах пхп-фпм

Если нагрузка только на чтение - справится 1 сервер с хорошим каналом
Апдейт-инсерт потребуют настройки СУБД

Или нанять человека, который понимает, что нужно делать

Comments

[Evgeny Svirsky]

Ну мне хотя бы концептуально. похожую архитектуру что вы описали составляли на одном из проектов года 3 назад. Думал может есть еще какие варианты. Спасибо.

[sim3x]

Evgeny Svirsky: если у тебя монолитный софт, то у тебя проблемы

[Evgeny Svirsky]

Пока софт монолитный. Но планируется большая переделка в связи с этим. Поэтому пока только варианты - это распределение по серверам монолита.

[Игорь Воротнёв]

sim3x: не забываем, что нагрузка редко распределяется плавно и равномерно, должен быть минимум 10х запас прочности чтобы переносить пиковые нагрузки. А вообще исходить надо из реальных цифр трафика и распределения по времени, если данных нет - считать ориентировочно и накидывать сверху хороший запас.

[sim3x]

Игорь Воротнёв: 10х не всегда спасает в блек фрайдей
Кроме того 10х сложно протестировать

[Игорь Воротнёв]

sim3x: ну, блек фрайдей это отдельный разговор, и к нему отдельно обычно готовятся)
Тестировать сложно, да. Аппроксимация, сэр.

Answer 3

[Игорь Воротнёв]

4 млн одновременно?
4 млн в день?
4 млн в месяц?

4 млн по 1 просмотру?
4 млн по 1000 просмотров, включая страницы с высокой нагрузкой на процессор / память / диск?

4 млн с 95% запросами в бд на чтение?
4 млн с 50% запросами в бд на запись?

...

Понимаете, куда я клоню?

Вообще, то что вы спрашиваете, называется load balancing, или балансировщик нагрузки. Гуглите, изучайте основы и принципы этой архитектуры. Когда освоитесь в теме, сами поймете что делать. Возникнут более точные вопросы по ходу - милости просим.

Если на все это нет времени, наймите специалиста, который задаст вам вагон вопросов и построит подходящее решение на базе того же AWS.

PS: 4 млн уников, если считать "в месяц", это не огромное число. Много, да. Но далеко не огромное и обслуживается достаточно легко.

UPDATE: +1 к ссылке на ruhighload.com от Bowen

Comments

[Evgeny Svirsky]

4 млн сразу врядли разошлют. ну за пару дней пройдут. Т.е. планируется что 4 млн посещений за один день. 4 млн ну пускай по 3-4 просмотра. Никаких страниц с высокими нагрузками. По 10-15 лёгеньких запросов к БД. Преобладающее большинство запросов - на чтение. Спасибо за совет.

[Игорь Воротнёв]

Evgeny Svirsky: Кеширование есть?

[Evgeny Svirsky]

да

[Evgeny Svirsky]

memcached

[Игорь Воротнёв]

Evgeny Svirsky: даже нормальный дедик такую нагрузку потянет. Используйте object caching, fragment caching, где архитектура позволяет можно и full-page caching средствами того же nginx (fastcgi_cache например). И в балансировке не будет необходимости. Вон sim3x привел ориентировочную калькуляцию. Понятно, что надо считать пиковые нагрузки, которые могут и в 10 раз превышать 46rps, по хорошему сервер должен иметь минимум 10х запас.

[Evgeny Svirsky]

спасибо.

Answer 4

[xmoonlight]

1. Нагрузка небольшая. (откуда 4млн юзеров уже - пока непонятно, если рассылка - придут 10-15% (~400к), из них зарегятся - тоже 10-15% (~40к) и т.д.)
2. По фронту - лучше бы это был SPA.
3. По запросам к базе - лучше бы делать параллельные независимые запросы к базе в пакетном режиме (аналог поездов и ожидающих пассажиров на платформе)
Итог: если всё сделать грамотно - справится смартфон.

Comments

[Evgeny Svirsky]

спасибо!

Answer 5

[Слава Витренко]

Потестируйте на виртуалке, сколько запросов в секунду держит ваше приложение.

Первое - вкл. php-opcache, перейдите на php7, включите ккширование.
Далее:
$ yum install -y httpd-tools
$ ab -n 1000 -c 100 https://ваш_сайт/тяжелая страница/
С результатом приходим на тостер и задаем вопрос еще раз.

Answer 6

[Andrey Shatokhin]

Практика показывает - лучше всего закешировать страницы на nginx. Примерно так. А директорию с кешем(proxy_cache_path) расположить на tmpfs.
Тогда все гости получат сверх быстрые ответы от сервера, которые вам ни дадут никакой нагрузки.

Comments

[Evgeny Svirsky]

Спасибо!

Answer 7

[Evgeny Svirsky]

Спасибо.