Как узнать DDoS или нет?

Question

[webpixel]

Приветствую! Как узнать наверняка, сайт ддосят или просто высокая нагрузка? Дело в том, что на сервер с DDoS защитой, 8 гб озу, 4 ядра и всего 1000 уников в день, сайт жутко долго открывается, постоянно 502 и 504 ошибки.

netstat говорит:

1 established)
      1 Foreign
      4 FIN_WAIT1
      8 LISTEN
     14 SYN_RECV
     31 LAST_ACK
     92 SYN_SENT
    118 CLOSE_WAIT
    120 FIN_WAIT2
    247 TIME_WAIT
    403 ESTABLISHED

делал примитивную защиту от SYN-flood, путем активации: net.ipv4.tcp_syncookies = 1
но на самом деле такого рода ддос, Я думаю, фильтрует сам хостинг провайдер.

На сервере: debian 7.9, nginx 1.8, php5-fpm 5.4, mysql 5.5.

htop показывает 100% нагрузку на все 4 ядра и использование 3гб из 8.

Подскажите пожалуйста, как вычислить причину тормозов? И у знать наверняка, ддос или тормоза сайта... Спасибо!

Answer 1

[Владимир]

Очень похоже на application level DDoS. Хостинг провайдер обычно защищает от грубых атак типа DNS amplification и тд, вас же сайт скорее всего досят более тонко - нашли самые тяжелые страницы и постоянно их запрашивают.
Изучите какие процессы грузят ЦПУ ? если nginx/php/mysql установите и используйте nginxtop и анализируйте access логи nginx на предмет паразитной активности,
Обязательно настройте мониторинг трафика, цпу, озу, и тд .

Еще изучите вывод netstat - сделайте выборку по портам 80 и 443 (если используется) и посмотрите возможно большинство запросов идут с небольшой группы ип адресов - заблокируйте их в iptables и посмотрите на результат.

Comments

[webpixel]

netstat -an | grep :80 | wc -l
693

netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n

13 45.79.158.192
     14 14.32.39.216
     15 117.240.187.35
     18 41.74.76.123
     21 113.200.250.112
     38 86.99.223.240
    116 SERVER_IP
   8142 127.0.0.1

как-то так...

[webpixel]

ТОП4 из access.log:

104084 117.169.6.98
  73477 117.169.6.180
  36086 117.169.6.115
  20970 117.169.6.151

[Владимир]

webpixel: ваш сайт ориентированн на Китайскую аудиторию ? если нет закрывайте всю 24ую подсеть

[webpixel]

Владимир: я уже забанил весь китай с помощью iptables + ipset. спасибо.

Answer 2

[Алексей Черемисин]

А просто top что говорит? Может быть просто сайт туго работает?
Ну и DDOS всегда можно отличить по массовой сетевой загрузке. Например по ifstat.
Мне что-то кажется, что у вас просто с сайтом тормоза... И в php-fpm сделайтелог медленных запросов (slow log). Да и что ресурсы то жрет, система или процессы?

Comments

[webpixel]

сделал, пошли записи такого рода:

[31-Oct-2015 15:35:18]  [pool www] pid 29088
script_filename = /var/www/SITE.com/html/index.php
[0x00007fd1d7f10920] mysql_query() /var/www/SITE.com/html/wp-includes/wp-db.php:1750
[0x00007fd1d7f0fb40] _do_query() /var/www/SITE.com/html/wp-includes/wp-db.php:1654
[0x00007fd1d7f0f3e0] query() /var/www/SITE.com/html/wp-includes/wp-db.php:2230
[0x00007fd1d7f01c80] get_results() /var/www/SITE.com/html/wp-includes/query.php:3499
[0x00007fd1d7f01af8] get_posts() /var/www/SITE.com/html/wp-includes/query.php:3874
[0x00007fd1d7f01988] query() /var/www/SITE.com/html/wp-includes/class-wp.php:549
[0x00007fd1d7f016f0] query_posts() /var/www/SITE.com/html/wp-includes/class-wp.php:622
[0x00007fd1d7f01510] main() /var/www/SITE.com/html/wp-includes/functions.php:886
[0x00007fd1d7f012f0] wp() /var/www/SITE.com/html/wp-blog-header.php:14
[0x00007fd1d7f011e0] +++ dump failed

[Алексей Черемисин]

Ну так теперь на mysql логи медленных запросов включите, далее скорее всего индексы нужно будет посмотреть...

[webpixel]

Алексей Черемисин: pastebin.com/vS4EZizv

[Алексей Черемисин]

webpixel: ну, чо! Ужасы! Каждый запрос к таблице wp_posts 4 секунды. Причем сканируется вся таблица из 70000 записей и возвращается всего 10. Ну и подсчет
SELECT SQL_CALC_FOUND_ROWS тоже по 3 секунды.
Откуда у вас там столько записей и постов? Стройте индексы!

[webpixel]

Алексей Черемисин: постов на самом деле 42000, до меня базу переносил другой человек, и поломал ее, наплодил дублей, которые я удалял. я создавал индексы для wp_posts, но видимо что-то не так сделал, буду разбираться, спасибо большое.

[Алексей Черемисин]

webpixel: сделано на вордпрессе у вас, посмотрите, какие там индексы по умелчанию, ну и дубли - плохо.

[webpixel]

видимо ошибка в том, что у меня вообще индексы созданы только для ID, посмотрел в кодексе wordpress-a, там вроде для 7-8 полей нужны, не подскажите пожалуйста как правильно создать?

[Алексей Черемисин]

Индекс по ID создается автоматически, другими словами индексов нет! Нужно взять исходники вашей версии вордпресса, они на вашем сайте, найти файл sql или файл php со строчками "create index" внижнем или верхнем регистре, и вот эти строки нужно загнать в базу. Выполните команду find . -name "*.php" -exec grep "create index" -inH {} \;

[webpixel]

спасибо большое, но кажется я понял почему не создаются индексы автоматом, у меня почти во всех таблицах есть записи с ID = 0, и слетели все AUTO_INCREMENT где должны были быть, сейчас разбираюсь с этим, но вы были правы и направили в правильном русле, я вышел на это благодаря тому что проверил индексы, спасибо вам большое.

[Алексей Черемисин]

Успехов

[Алексей Черемисин]

Да, не забудьте отключить логирование медленных запросов в сиквеле и пыхпыхе

[webpixel]

спасибо, отключил, до того как приступил ;)

[webpixel]

еще раз здравствуйте, вроде все починил, не получается только добавить PRIMARY KEY для object_id и term_taxonomy_id в wp_term_relationships, не подскажете пожалуйста как это сделать?! phpmyadmin ругается на дубли в ID, но для этой таблицы это вроде бы нормально.

[webpixel]

всё, сделал, спасибо большое.

[Алексей Черемисин]

О! Молодец! Поздравляю, а вот первичный ключ всегда уникален, дублей быть не должно.

[webpixel]

Алексей Черемисин: спасибо, Я тоже так думал, но: https://codex.wordpress.org/Database_Description#T... :)

[Алексей Черемисин]

webpixel: если говорить о wp_term_relationships, то это провязочная таблица без первичных ключей, может быть и без индексов. А вот первичный ключ в таблице, если у него тип первичного ключа, всегда с индексом.

[Алексей Черемисин]

webpixel: ах вот! В этой таблице составной первичный ключ, состоящий из двух полей таблицы, и эта связка должна быть уникальной!!!

[webpixel]

так и сделал, в общем wordpress заработал как надо, нормально грузится dashboard, осталась всего 1 единственная ошибка, которая сильно грузит сайт, и он открывается по 15-20 сек: pastebin.com/HDTie27v

[Алексей Черемисин]

webpixel: wp_posts.post_title индекс желателен и обязателен по wp_posts.post_date в сортировке DESC

[Алексей Черемисин]

А вообще-то этот запрос хорошо бы прогнать по отдельности или сделать на него explain

[Алексей Черемисин]

mattweb.ru/moj-blog/bazy-dannykh/item/65-ispolzuem... или здесь www.mysql.ru/docs/man/EXPLAIN.html

[webpixel]

судя по https://codex.wordpress.org/Database_Description#T... индекс для post_title нет. есть post_name и для него, как и для post_date индексы созданы.

[webpixel]

вроде ничего особенного: pastebin.com/MxXmMRJb , видимо косяк в поисковой системе самого wordpress.

Answer 3

[Пума Тайланд]

Откройте логи нгинкса или апача и посмотрите кто и что

Comments

[webpixel]

ТОП4 из access.log:

104084 117.169.6.98
  73477 117.169.6.180
  36086 117.169.6.115
  20970 117.169.6.151

видимо таки ддосят, там еще много подсетей есть, попробую заблокировать сейчас сперва эту.

[Пума Тайланд]

webpixel: так вы проверьте айпи по хуиз, может это поисковик какой

[webpixel]

China Mobile Communications Corporation, проверил еще несколько подсетей. все из китая, наверное буду банить Китай.

[Алексей Черемисин]

Ну так и забаньте всю 117.х.х.х

[webpixel]

спасибо, забанил вообще весь Китай с помощью iptables + ipset, посмотрим через часик.