Как защитить сайт от перегрузки на shared хостинге?

Question

[Rokis]

Приветствую!

Имеется несколько сайтов на стандартном тарифе виртуального хостинга. Никогда не было превышения нагрузки. За какие-то 20 минут сканирования сервисом Wpscan нагрузка на сервер увеличилась в 8 раз! Все запросы уходили в редирект. В секунду около 10. Пришло письмо о превышении нагрузки.

Пример:

11.111.111.11 - - [17/Feb/2017:18:20:38 +0300] "GET /backup/admin HTTP/1.1" 301 - "-" "

Временное решение заблокировать IP. Ну и собственно вопрос:

Как защитить сайты от хулиганов, которые будут злоупотреблять этим и подобными инструментами, чтобы "положить" сайт? Ведь таким образом за пару дней провайдер отключит сайты из-за нагрузки.

Сайты на Wordpress, плагины стараюсь не использовать.

Answer 1

[xmoonlight]

Прежде, чем что-то подключать из сторонних сервисов, советую вначале максимально предметно разобраться :
1. С описанием проблемы
2. С условиями её возникновения
3. С последствиями, вызванными ею
4. Со способами предотвращения возникновения проблемы
5. Со способами устранения уже возникшей проблемы за минимальное время

Есть настройки на кол-во соединений, частоту соединений (периодичность запросов), порядок переходов.
Для очень активных - сначала шейпер, затем капча, затем временный бан, затем перманентный.
Выбирайте!)))

Почему может возникать нагрузка

• Сайт посещаемый и это честная нагрузка. Такова реальность.
  
• В коде сайта ошибка. Например, если в php открыть файл или сокет, не проверить факт удачного открытия, и начать читать/писать в этот файл/сокет, то обработка этих ошибок будет очень сильно грузить процессор.
  
• Боты сканируют сайт. Решение - искать их по access_log и блокировать через файл .htaccess
  

CP - полезная нагрузка в минутах: рассчитывается количество работы одного ядра на протяжении 60-и минут (часа): 1 ядро работающее целый час = 100% загрузка.

CP=60*T/60,
где T - кол-во минут полезного процессорного времени на одно ядро.

Comments

[Rokis]

Где реализовывать эти настройки? В процессе гугления я нашёл только скрипт, который работает как фильтр и кучу плагинов с firewall. Они подойдут для данной задачи? Логику защиты довольно просто составить, я только не знаю где, как и чего.

[xmoonlight]

Rokis: учите как гуглить и уровни фильтрации.
А подойдут найденный вами скрипт и куча плагинов или нет - как я то могу знать?! ОТКУДА?!)))

[d-stream]

Кстати поаккуратнее с банами "злоумышленников". Первыми в них окажутся гугловский и яндексовский индексаторы -)
А злоумышленники спокойно будут работать через хомячков....

[xmoonlight]

d-stream: 429 Too Many Requests («слишком много запросов»)

[xmoonlight]

d-stream: 509 Bandwidth Limit Exceeded («исчерпана пропускная ширина канала»).

[d-stream]

xmoonlight: ну да, когда поисковик пытается проиндексировать сайт - он очень быстро и в несколько потков проходит по всем локальным ссылкам. Это вызывает достаточно большую нагрузку, а так как куплен нищебродский хостинг - жадный хостер во-первых лимитирует количество запросов и полосу, во-вторых начинает слать "ваш сайт превысил лимит прочессорного времени - кпите тариф подороже"

[xmoonlight]

d-stream: я написал к тому, что если я выдам такие ответы - то кравлер поисковиков поймёт, что так делать не нужно и сменит как потоки, так и периодичность опроса моего сайта! (это типа как разговор с роботом)))

[d-stream]

xmoonlight: или просто уйдет, махнув рукой - мол че с этого сайта взять кроме анализов...
возможно еще разок когда-нибудь заглянет...

Ну а потом на тостере будет вопрос "почему мой сайт не индексируется?"

[xmoonlight]

d-stream: не исключено, что может быть и так....

[d-stream]

xmoonlight: посему стоит бороться не со следствием, а с причиной. Например методами, предложенными в первой паре ответов. Или хотя бы полумерой - поискать более другого хостера.

[xmoonlight]

d-stream: т.е. переложить проблему за свои же деньги на плечи других и радоваться тому, что они тоже никак не защищают, но думать об обратном и продолжать платить?!) отлично))))

[d-stream]

xmoonlight: какую проблему? То что дешевый тарифный план фиксирует превышение нагрузки уровня восстановления десятка вкладок после аварийного завершения работы броузера? Или в момент захода бота-индексатора от известных поисковиков?

[xmoonlight]

d-stream: да во всех случаях, включая ddos и скан сторонними сервисами для проверки SEO и подобными. Т.е. свою задачу стабильной бесперебойной работы площадки с её защитой от флуда запросами - хостер не исполняет. Если нормальный хостер - он не будет требовать денег за такие услуги. И название этому - качество сервиса. При том, такой функционал можно реализовать и самостоятельно.

[Владимир]

xmoonlight: вы же понимаете что чудес не бывает - режем флуд -жалуются клиенты что пингдом, хост трекер и прочие боты до сайта не доходят, не режем флуд - сайт вылазит за лимиты. И так и так клиент не доволен, а корень зла - самый дешовый тариф. И я как админ бы рад его убрать к чертям сабачим но менеджмент и маркетинг не дадут это сделать. Се ля ви.

[d-stream]

xmoonlight: думаю стоит внимательно прочесть договор оферты - там все это расписано подробно. В том числе и про то, что купив велосипед - нефиг ныть о его неспособности перевезти жену и тещу со шкафом на дачу за раз.

[xmoonlight]

d-stream: вот я и говорю, что нужно защищать (писать фильтрацию или ставить поведенческий плагин) своими силами.

[xmoonlight]

Владимир: ну значит у вас в конторе нет нормального фильтра (только "рубильник"!))), а хостер денег хочет с клиентов, а Вы - крайний!)
1. Вот банальный пример на ту же тему: сколько должен стоить по-вашему анти-спам-фильтр при постинге контента: статьи, комментариев за проверку одного сообщения? рубль, доллар, три или пять, а может по размеру проанализированного трафика (длина сообщения)?
2. А теперь - анти-спам-бот-фильтр/каптча-фильтр?!
3. И в завершении - анти-DDoS фильтр....?!

[Владимир]

xmoonlight: у вас похоже навязчивая идея про фильтр - но дело не в наличии или отсутствии фильтра, а в том что тарифный план расчитан по факту на простой сайт со статикой максимум, но внутри стоит вордпресс с пачкой тяжёлых плагинов.
пункты 1 и 2 в моем контексте нисколько - это не реально: мой пример - шаред хостинг сервер 2000 аккаунтов это 6-7тысяч сайтов, сайты на каких угодно языках и цмс да и утопия это - всегда будут фалс позитивы.
пункт 3 - эмм от нуля до бесконечности, смотря сколько хотим фильтровать трафика ? 1 гиг? 10? 100?, сколько Мегапакетов в секунду ? л7 фильтруем ?

[xmoonlight]

Владимир: пункт3 - не сколько, а как?

[d-stream]

xmoonlight: и в чем будет толк? Если перегруз по тарифному плану возникает при нагрузке на уровне одновременной загрузки десятка вкладок в броузере - то какой смысл навешивать допнагрузку на процессор и "противодействовать" после учетной точки хостера?

В общем случае слегка купировать проблему можно на уровне настройки тарифного плана: многие хостеры предлагают этакие "скрипты" действий в случае превышения нагрузки. Настраиваются эти скрипты в личном кабинете и действия по этим скриптам осуществляются на стороне хостера ДО точки учета клиентских лимитов.
Недостатки и последствия использования таких скриптов - уже озвучивались.

А средства и услуги по противодействию реальным DDoS - как правило стоят тысячи долларов.

[Владимир]

xmoonlight: сколько - позволяет принять решение как, если трафика очень много то можно купить аппаратные решения от juniper, или arbor, и там из коробки есть и Deep Packet Inspection, наборы сигнатур и тд вопрос только в цене =)
Если трафика мало то фильтруем прямо на сервере - пишем самодельные наборы ACL для haproxy + пользуемся mod_security в апаче (поставщика правил выберите сами - Comodo, Atomic или еще кто)

[xmoonlight]

Владимир: правила от поставщиков - это что-то вроде антивирусных баз, только для фильтра пакетов в конкретном формате?

[xmoonlight]

d-stream: ну не скажите, нагрузку на сайт клиента Вы как считаете?

[d-stream]

xmoonlight: я никак не считаю. А вот хостер считает процессорное время по учетке клиента и пакеты через интерфейс в сторону клиентского ресурса и обратно.

Соответственно хостер учтет пакеты, на которые клиент даже не соизволит ответить. Со всеми вытекающими.

В итоге школоло-атака: прописываем в броузере "открывать при запуске эти вкладки" - пару десятков страниц атакуемого сайта и открываем... -)

[xmoonlight]

d-stream:

Почему может возникать нагрузка
Сайт посещаемый и это честная нагрузка. Такова реальность.
В коде сайта ошибка. Например, если в php открыть файл или сокет, не проверить факт удачного открытия, и начать читать/писать в этот файл/сокет, то обработка этих ошибок будет очень сильно грузить процессор.
Боты сканируют сайт. Решение - искать их по access_log и блокировать через файл .htaccess

Довольно интересный у Вас хостер!
Т.е. хотите сказать, что все 4xx-ые коды HTTP - тарифицируются также, как и при отдаче обычной страницы, т.к. это та же самая нагрузка?!

[d-stream]

xmoonlight: для "заглушки" - это предостаточный хостер, для нагруженных сервисов - используются более другие аренды серверов и collocation -)

А так - какая разница хостеру чем занимается xx% полосы пропускания его канала - жутко полезными пакетами или полной бесполезностью, если часть полосы загружается.
Наверное наиболее понятный пример сотовая связь и тарифы с предоплаченными минутами - опсосу совершенно без разницы то ли абонент 10 минут выяснял что нужного человека нет или за 10 минут провернул сотню сделок с акциями на бирже на 100500 миллардов баксов. В обоих случаях будут тарифицированы 10 минут.

[xmoonlight]

d-stream: ну так что хостер тарифицирует то - трафик ещё? скажите: какой хостер-то, чтобы мне стало более понятно.

[d-stream]

xmoonlight: хостер на шаред тарифах тарифицирует как правило процессорное время и полосу.

[xmoonlight]

d-stream: если полосу будут бомбить запросами даже на 404-й код отаета - тогда да... только включением файрвола с панели управления (если там такое предусмотрено)

[d-stream]

xmoonlight: Собственно любыми запросами. Отсюда и вывод, что ресурсу чуть актуальнее странички-заглушки shared-хостинг не подходит. Ибо или придется переплачивать за бОльшее количество ресурсов (полосы, памяти) или жестоко урезать "подозрительную" активность что выплеснет из тазика и ребенка вместе с водой... Например бан поисковиков или же прокси-ускорителей (турбо режимы броузеров) с вытекающими последствиями в виде неиндексирования поисковиками и недоступности ресурса для части вполне добропорядочных пользователей.

[xmoonlight]

d-stream: ну да: статика - для поисковиков (пререндер в чистый HTML), SPA - для добропорядочных пользователей.

[Владимир]

xmoonlight: да это схоже по смыслу с антивирусной базой, но там не фильтр пакетов а фильтр запросов к веб серверу, основной смысл - затыкает самые известные дырки в популярных цмс и предотвращает брутфорсы. детальней можете почитать тут https://waf.comodo.com/

[xmoonlight]

Владимир: ну тогда вот: https://sitecoder.blogspot.ru/2016/05/website-prot...

[Rokis]

Короче говоря, решил проблему настроив Rate Limiting в плагине Wordfense. Если запросы вызывают ответ 404 более 60 раз в минуту, то бан IP на час. Так же установил допустимый предел по другим запросам (как было в инструкции). Единственная проблема - пришлось редирект заменить на 404, теперь если пользователь наберет неправильно URL моего сайта, то его не перекинет на нужную страницу. Попытаюсь ещё найти плагины с аналогичной функцией и почитаю как это можно реализовать самостоятельно, а то в этом много всего лишнего и нет ограничения на редирект.

[xmoonlight]

Rokis: Ну вот, я так и предлагал: вполне логично. Даже можно поставить 15 раз в минуту 404-ошибки на один IP и в бан IP на час.

Answer 2

[Alexander Pushkarev]

Покупайте vps и разворачивайте сайты там

Comments

[BannedOnStackoverflow]

Аксиома Эскобара

[xmoonlight]

внешний сервис - раз...

Answer 3

[Максим Кудрявцев]

Подключи СloudFlare

Comments

[xmoonlight]

внешний сервис - два...