Что это может быть?

Question

[squirtazzer]

Добрый день. В пятницу(06.07) на наш сайт (и даже на все сайты на хостинге)было около 10тыс запросов. Соответственно хостинг не выдержал и упал. Больше всего запросов было с 10 ip-адресов. Что это могло быть, специалисты? ddos-атака(но мы не настолько крупная корпорация) чтобы на нас была атака. Или что то другое? как это узнать, и бороться?

Comments

[Сергей Горностаев]

Что за хостинг такой, который падает от 10 000 запросов?

[Максим Федоров]

Сергей Горностаев, ну код еще бывает такой :)

[squirtazzer]

Сергей Горностаев, обычный хост 3 на рег.ру

[squirtazzer]

Максим Федоров, код не менялся) также обычным способом добавлялись страницы.

[Максим Федоров]

squirtazzer, что у вас -- интернет-магазин или что?
Возможно делали парсинг сайта -- то есть выкачивали или сохраняли все страницы/картинки...

Код не еменялся, но он мог быть не оптимальным для такой нагрузки, например каждая страница возможно генерирует сотни тяжелых запросов (лично такое видел) и потому на БД идет бомбардировка при большом числе обычных запросов к страницам.... у вас на малых нагрузках он может и работает, а на средних уже схлопнулся...

Это точно не дос :)

[squirtazzer]

парсинга не было. Код...да какой код на wordpress? обычным способом добавлял страницы как и полгода да этого-то есть добавить страницу-там через wpbakery builder добавлял блоки...

[Сергей Горностаев]

squirtazzer, тогда упал скорее всего не хостинг, а движок сайта.

Answer 1

[Дмитрий Энтелис]

Может быть что угодно: от игр школьников, до индексации каким-нибудь поисковиком.
Посмотрите access log, погуглите ip, может быть и узнаете кто.

Но проблема как-бы не в этом.
10 000 запросов в минуту - это не нагрузка.
10 000 запросов в сутки - это я вообще не знаю с чем сравнить...

Comments

[squirtazzer]

айпи с КИТАЯ, АВСТРАЛИИ, КАНАДЫ.

[Дмитрий Энтелис]

squirtazzer, вы там в коментах написали что у вас ворпресс - есть много готовых ботов которые сканят сайты, ищут стандартные дырки в стандартных плагинах.

[squirtazzer]

Дмитрий Энтелис, как защититься от этого?

[Сергей Горностаев]

squirtazzer, каждую неделю новые боты и требуются новые способы защиты.

[Виктор Таран]

К сожалению вы не правы, такое количество запросов в среднем просаживает corei7 +32 GB ssd
Не забывайте что апачу это действительно легко обработать, и когда говорим о чистой статике html то вопросов не возникает. А вот если мы говорим о выборках в БД а сайт это как правило они и есть, притом за частую они могут быть очень тяжелые, вот тут два три хита уже играют большую роль.
и 10 К запросов могут быть совершенно разные.
Скорее всего я ваш сайт повешаю обычным F5

[Сергей Горностаев]

Виктор Таран, один из моих интернет-магазинов на Django обрабатывает 300 rps на двух VPS'ах за $20, на одном Nginx+uWSGI, на другом PostgreSQL. На примерно такой же конфигурации сервер Blynk обрабатывает без малого миллион запросов в секунду. У Одноклассников платформа на средних серваках (4 ядра и до 48 гигов памяти) способна обрабатывать по 40k запросов в секунду. У Netflix EC2-инстанс класса xlarge способен прокачивать 38 гигабит трафика через одновременно удерживаемые 10k соединений.

[Владимир]

Сергей Горностаев, Вы тут расказывает про звездолеты, а обычный LAMP хостинг на маленькой VPS может упасть по многим причинам, приведу самые частые:
1 сервер ушол в своп и не вернулся
2 ООМ убил апач или БД
3 Кончились слоты в апаче
И да долбеж ботов в wp-login.php иногда создает абсолютно не нормальную нагрузку (регулярно наблюдаю это на шаред хостинг серверах) и это проблема именно вордпресса.

[Дмитрий Энтелис]

Виктор Таран, Ничего личного, но Вы этим сообщением расписались в профнепригодности.

Да, бывают адские системы статистики где производительность меряется единицами rps - но очевидно что у автора не такой вариант.

Если мы говорим о каких-то обычных сайтах - то разговор про нагрузку начинается с сотен rps даже на копеечных vps.

Тут либо безумно кривой код на ворпрессе, либо какой-то ну совсем мертвый shared хостинг.

[Сергей Горностаев]

Владимир, не знаю на сколько плохо надо настроить VPS и на сколько плохой код на нём запустить, чтобы всего этого добиться.

[Владимир]

Сергей Горностаев, Для этого достаточно просто купить впс и поставить туда вордпресс 99% пользователей делают именно так.

[Виктор Таран]

Сергей Горностаев,

один из моих интернет-магазинов на Django обрабатывает 300 rps на двух VPS'ах за $20, на одном Nginx+uWSGI, на другом PostgreSQL. На примерно такой же конфигурации сервер Blynk обрабатывает без малого миллион запросов в секунду. У Одноклассников платформа на средних серваках (4 ядра и до 48 гигов памяти) способна обрабатывать по 40k запросов в секунду. У Netflix EC2-инстанс класса xlarge способен прокачивать 38 гигабит трафика через одновременно удерживаемые 10k соединений.

было бы очень круто, но к сожалению в сказки не верю ;(

[Пасечник Кузьмич]

Виктор Таран, чтобы попасть в эту "сказку" достаточно перестать заниматься адаптацией CMS под интернет-магазины и начать программировать.

[Виктор Таран]

Пасечник Кузьмич, покажи метрику свою

Answer 2

[Сергей Горностаев]

10k запросов в сутки - это мало. Более-менее существенной нагрузкой можно было бы считать такое количество запросов в минуту. Как минимум надо пройтись по коду профайлером, поискать узкие места. Если такие шквалы запросов будут происходить регулярно, то можно переехать на VPS и настроить защиту.

Comments

[Сергей Горностаев]

Виктор Таран, а где я про 10k запросов в секунду писал?

[Виктор Таран]

Сергей Горностаев, ты считаешь что и в минуту мало ?
хоть 1 запрос в бд, хоть 1 и сервер улетел в тяжелый аут.

[Сергей Горностаев]

Виктор Таран, это всего 166 rps.

Answer 3

[Виктор Таран]

Что касается ДДОС то да вас лично никто не ддосил, но например могли просто подбирать пароли к вашему движку или к его компанентам, могли ломать ssh, и таких вариантов может быть миллион. И ломали тут не вас а технологию которая по каким-то причинам была выбрана человеком запустившим этого робота, и вы попали под некий критерий по которому он решил что вы могли бы быть взолманы.
Например в 2012 году 31 декабря у мнея упало на разных серверах 100% сайтов на джумуле. Поскольку искали конкретную уязвимость, и падали они в течение 3-10 минут.
В общем смысл такой, будьте готовы к брудфорсу даже 1 страничного сайта. хотя вероятность этого крайне мала, но это интернет. Лично вас ломать никто не будет но желающих запустить пару ботов найдется более чем один. Так что время от времени может прилетать и вам ;)
Ну а если это обычный шаред хостинг то еще и не вам а соседу :)