Хабраэффект: Как настроить VPS, чтоб тот выдержал?

Question

[PlatinumArcade]

Хотелось бы узнать примерные цифры «хабраэффекта» и какие общие рекомендации для подготовки сервера к пиковым нагрузкам? Может есть уже готовые статьи / цифры где-то?


Система: Cent OS + Nginx (php-fpm) + MySQL + PHP.

Answer 1

[VBart]

Хабраэффект — миф. Что-то около пары лет назад я писал статью и ради интереса вставил в нее картинку, лежащую у меня на собственной VDS-ке, за 500руб в месяц с freebsd и nginx-ом. Статья вместе с картинкой во вступлении попала на главную и провисела там почти весь будний день, пока не ушла на вторую страницу.

Пиковый request rate составлял примерно, если память не изменяет, чуть более десятка запросов в секунду. И это не переходы пользователей по ссылке, а просто люди, открывшие главную страницу хабра. Моя VDS-ка способна отдавать эту картинку со скоростью 500-1000 req/sec.

ИМХО если это не какое-то реально ресурсоемкое приложение, то загнуться от такой назгрузки может только неповоротливое говно на каком-нибудь монструозном php-движке (что, впрочем, составляет наверное более 90% рунета). Так что не пишите неповоротливого монструозного говна на php и вам не придется ничего настраивать.

Comments

[Анатолий]

а какое «железо» было у вашей вдс-ки? Они ведь и слабенькие бывают =)

[VBart]

У меня она на xen и по тарифу мне полагается 700MHz VCPU и 512Мб оперативной памяти. Но это не имеет значения, я этот пример ради цифр привел. ИМХО уважающий себя сайт должен выдерживать несколько десятков запросов в секунду к главной не напрягаясь на слабом (условно) железе.

[Анатолий]

У меня 70 выдерживал пустой фреймверк (512 Мб ОЗУ/500 МГц процессор), но в том то и дело что он пустой был, если хоть какая-то логика начинает срабатывать, то 70 сразу уменьшается в разы, ибо каркас не несет ничего сложного. На статику ведь не нужно много мощностей, есть файл? отдаем, нет? 404. Все просто.

[PlatinumArcade]

О каком фреймворке речь?

[Анатолий]

Это не суть важно, любой фреймверк будет пустым работать быстро, даже самый монструозный =)

[VBart]

70 это уже не быстро =) Сравните с «пустым» nginx отдающим что-то из памяти, аля location / { return 200 "Hello world"; }. Или с каким-нибудь пустым Python-приложением на uWSGI.

В 90% случаев полностью генерировать новую страницу на каждый запрос не нужно, а люди зачем-то это делают.

Answer 2

[Антон]

Рекомендую для начала прогнать сайт через loadimpact.com, сразу будет видно как сайт ведет себе при 1-50 конкурирующих запросах, на сколько из-за этого отклик страдает.

Answer 3

[Алексей Акулович]

На Хабре есть пачка статей в стиле «Как мы пережили хабраэффект» с графиками и цифрами, плюс был пост по обращениям к картинке в посте, когда тот попал на главную. В общем, все ищется на этом же сайте.

Answer 4

[Mikhail Osher]

Попрошу заметить, что все зависит от того, какое у вас железо.

А то как выставите некорректные, относительно системы, настройки каких-нибудь innodb… и без хабраэффекта плакать будете :)

Comments

[EugeneOZ]

Есть живой пример, как прекрасное железо загибается из-за абы-как написанного кода. Написана эта хрень на питоне, поэтому поправлю одного из отвечавших: не пишите неповоротливое г ни на каком языке.

Answer 5

[Яков]

У меня базовая VPS на хецнере за шесть евро выдержала аннонс-эффект в 18k уников за неполные 12 часов.
За точным количеством реквестов нужно лезть в архив логов, что делать откровенно лень, но трафика нагенерилось около 45 гигабайт.

Основная масса посетителей пришлась на Wordpress 3.1x с кастомным скином и вагоном jQuery в нём, плюс форум на третьем phpBB.
Ничего не рухнуло, ничего не просело — памяти сжиралось около четырёхсот мегабайт, камень держался в районе 40-45%.

Юзал связку из nginx+php5-fpm+percona (пресобранные пакеты из dotdeb) без особо тонкого тюнинга.

Comments

[mithraen]

Собственно все советы начинаются с установки nginx.
Далее:
— настроить отдачу статики через nginx
— желательно избавиться от apache для динамики, заменив на php5-fpm

Остальное — специфический тюнинг конкретной CMS.

[Яков]

Ну так ведь так и есть, остальные гвозди разве что в скриптах остаются.

[Анатолий]

«18k уников за неполные 12 часов» это на столько смешная цифра, что про нее даже говорить не стоит =) 2 уника в секунду =)

[Яков]

Уники != хиты
Хитов, то есть непосредственно реквестов, было около 80 тысяч.

[Анатолий]

Посчитайте сколько выходит запросов в секунду и убедитесь что цифра смешная.

[Яков]

Для 500 мгц впски на ксене? Ну-ну.

[EugeneOZ]

Нагрузка ни о чём, 2-3 запроса в секунду, они даже по очереди могут успеть выполнится, если по 0.3 — 0.5 каждый.

[Mezomish]

>2 уника в секунду =)

Это как у вас так получилось-то? В 12 часах 43К секунд. Если за это время было 18К уников, то это не 2 уника в секунду, а наоборот, один уник в 2 секунды ;)
А вот 80К реквестов как раз и даёт 2 уника в секунду.

[Анатолий]

Да, я перепутал =) Цифра в итоге выходит еще смешней.

Answer 6

[redbutcold]

все очень просто. кеширование.
под вордпресс и друпал есть конфиги nginx использующие fastcgi_cache.
еще куча модулей кеширования.
а varnish так вообще прелесть. сервак будет спать…

Comments

[VBart]

Зачем varnish при наличии nginx?

[redbutcold]

смотрю на ваше предыдущее сообщение в моем вопросе — у вас варнишефобия? :)
наверное затем, зачем его сделали…

[VBart]

Мне интересно, зачем люди используют кэш в варнише, при наличии кэша в nginx. Искреннее любопытство, плюс возможность собрать информацию о востребованности тех или иных фич.

Answer 7

[Влад Животнев]

Вы вот сейчас спросили что-то в духе «как зарабатывать миллион в день ничерта не делая».
Правильный ответ в вашем случае — ковырять, тюнить, искать деградацию и узкие места в вашем конкретном проекте, переписывать код.
А вообще в хабраэффекте нет абсолютно ничего страшного. Обычно, его переживает любой проект настроенный по любому мануалу, если в нем нет быдлокода и у VDS-ки не тормозит дисковая подсистема. По крайней мере, мои разные клиенты переживали его раз 20, я на это обращал внимание только по предупреждалкам мониторинга о слегка подскочившей статистике потребления питания на тушках.

Answer 8

[Дэн]

1. Проверьте настройки Mysql на предмет оптимальных, детальнее: Оптимальная настройка Mysql с...

2. Если сайт контентный (т.е. мало динамики на страницах), обязательно используйте кеш, например Varnish: Varnish - быстрый старт

3. Поскольку первым на очереде окажется веб-сервер (лучше использовать nginx), убедитесь, что настроили его: Настройка nginx под нагрузки

4. Для базовой проверки под нагрузкой можно использовать ab от Apache

По теме рекоммендую прочитать истории роста разных проектов:
highscalability.com
highload.com.ua
habrahabr.ru/hub/hi