ДДос атака на nginx пакетами 1 байт?

Question

[SVINTUS2000]

Здравствуйте дамы и господи!
На меня совершают попытку ддоса пакетами 1 байт:

189.122.179.187 - - [11/Nov/2017:16:40:00 +0100] "0xF" 400 166 "-" "-" "-" 
179.218.210.189 - - [11/Nov/2017:16:40:00 +0100] "0xF" 400 166 "-" "-" "-" 
83.209.48.26 - - [11/Nov/2017:16:40:00 +0100] "0xF" 400 166 "-" "-" "-" 
92.249.111.231 - - [11/Nov/2017:16:40:00 +0100] "0xF" 400 166 "-" "-" "-" 
179.218.185.114 - - [11/Nov/2017:16:40:00 +0100] "0xF" 400 166 "-" "-" "-" 
201.81.106.183 - - [11/Nov/2017:16:40:00 +0100] "0xF" 400 166 "-" "-" "-" 
179.235.253.60 - - [11/Nov/2017:16:40:00 +0100] "0xF" 400 166 "-" "-" "-" 
81.190.16.114 - - [11/Nov/2017:16:40:00 +0100] "0xF" 400 166 "-" "-" "-" 
31.45.118.108 - - [11/Nov/2017:16:40:00 +0100] "0xF" 400 166 "-" "-" "-" 
189.120.223.34 - - [11/Nov/2017:16:40:00 +0100] "0xF" 400 166 "-" "-" "-" 
66.63.169.209 - - [11/Nov/2017:16:40:00 +0100] "0xF" 400 166 "-" "-" "-"

(лог программы NGINX)
и в секунду так 500 строк! очень мощно
что посоветуете сделать?

Comments

[sim3x]

цпу / озу / ио падает?

Отключите логи / включите буффер логов для данного домена

[SVINTUS2000]

sim3x, сеть 10гбит на додике загружается на 100 и все дохнет

[sim3x]

SVINTUS2000, тогда вам нужно писать своему провайдеру / ДЦ - если вам действительно канал таким образом забили
На своей машине вы ничего не сделаете

[SVINTUS2000]

sim3x, это л7

[enly1]

Аналогичная атака, в логах всё тоже самое. Загрузка канала на 20 мбитс, ядра процессора загружены на ~40-50% из 100%. Знает решение, может, кто?

[sim3x]

SVINTUS2000, неважно какой уровень, если у вас забит канал

[SVINTUS2000]

sim3x, забивают на отдачу а на вход 100мбит всего

[enly1]

sim3x, у меня в логах такая же ошибка, канал не забит.
Вы не знаете решения? Nginx атаку не держит, сайт timed out выдаёт

[Wexter]

меняйте ip адреса и переезжайте под крыло антиддос. с текущими ip ставить антиддос бесполезно, атака всё-равно пойдёт напрямую

[enly1]

Wexter, гениальное решение (нет)
Зачем я должен кому-то платить деньги, если тут L7 атака 20 мбитс на веб-сервер
Ресурсы сервера и канал позволяют атаку отбить, вопрос лишь в том, как это сделать

[SVINTUS2000]

Wexter, Сейчас бы покупать защиту от L7 ддос атак

[Wexter]

enly1, SVINTUS2000 вряд ли вам тут кто скажет способ подходящий вам. либо штудируйте форумы, либо готовый антиддос. и не обязательно платить, тот-же cloudflare бесплатный

[Night]

Поставьте лимит запросов в nginx
nginx.org/ru/docs/http/ngx_http_limit_req_module.html

Хотя если у Вас сеть забита - не поможет.

[enly1]

Night, лично у меня сеть не забита. Спасибо, попробую.

[Philipp]

Сделайте фильтр на запрос и отправляйте 301 редирект на сам ip адрес отправителя или рвите соединение.
Лог разумеется прийдется выключить. При дырке в 100 MBps ничего страшного. Поплатят с недельку, успокоятся. DDoS удовольствие не из дешевых.

[gremlintv2]

Philipp,
привет!
Извиняюсь за некропостинг можете посоветовать как такой фильтр сделать?
Как я себе пока представляю: через мапинг определить переменную $request_url и редиректить на переменную $remote_address. Как то так? Не используете блэк листы?

[Philipp]

gremlintv2, обычно это делается через lua скрипты, но можно и так, как вы сказали.
Посмотрите в сторону openresty еще, там много примеров.

Answer 1

[Сергей Горностаев]

500 строк в секунду - это не мощно и, вероятно, даже не DDoS. Если адрес один, то просто закройте ему доступ брандмауэром, а если адреса разные, то настройте лимит запросов в Nginx.

nginx.conf

http {
    ...
    limit_req_zone $binary_remote_addr zone=reqlimit:10m rate=30r/s;
    ...
}

some_site.conf

server {
    ...
    location / {
        ...
        limit_req zone=reqlimit burst=10 nodelay;
    }
}

После этого запросы с одного ip-адреса начиная с 31-го в секунду будут отбрасываться.

Как вишенку на торт, можно добавить ещё фильтр для fail2ban:

nginx-req-limit.conf

[Definition]

failregex = limiting requests, excess: .* by zone .*, client: <HOST>
ignoreregex =

и правило в jail.local

[nginx-req-limit]
enabled = true
port = http,https
filter = nginx-req-limit
logpath = /var/www/*/*/logs/error.log # Здесь укажите свой путь к логам виртуального хоста
findtime = 600
maxretry = 10
bantime = 7200

После этого адреса DoS'еров будут автоматически блокироваться брандмауэром на два часа. Что разгрузит Nginx от обработки паразитного трафика.

Comments

[enly1]

Спасибо, помогло

[SVINTUS2000]

Вы очень мне помогли! Теперь если делается DDoS-Атака сайт не тормозит! Пусть бог вас благословит

[tema_sun]

SVINTUS2000, лучше деньгами

[Александр Черных]

tema_sun, деньгами не лучше :-), поверьте на слово

[DotDash]

tema_sun, лучше темным нефильтрованным.

[Михаил Григорьев]

failregex = limiting request, excess:.* by zone.*client:

Почему все копируют данную регулярку с просторов сети и не проверяют её?

При записях в error.log вида

2017/11/13 16:49:26 [error] 32586#32586: *7180527 limiting requests, excess: 40.070 by zone "req_limit_per_ip", client: 81.90.213.XXX, server: xxxx.org, request: "GET /netcat_files/944/2882/h_5d52b860ac4b98eaeb00e9d1d434cd8a HTTP/1.1", host: "xxxx.org", referrer: "xxxx.org/account"

Она просто не сработает никак.

# fail2ban-regex /var/www/xxxx.org/log/error.log /etc/fail2ban/filter.d/nginx-req-limit.conf

Running tests
=============

Use   failregex file : /etc/fail2ban/filter.d/nginx-req-limit.conf
Use         log file : /var/www/xxxx.org/log/error.log

Results
=======

Failregex: 0 total

Ignoreregex: 0 total

Date template hits:
|- [# of hits] date format
|  [53] Year/Month/Day Hour:Minute:Second
`-

Lines: 53 lines, 0 ignored, 0 matched, 53 missed
Missed line(s): too many to print.  Use --print-all-missed to print all 53 lines

Правильнее будет так:

failregex = ^\s*\[error\] \d+#\d+: \*\d+ limiting requests, excess: [\d\.]+ by zone "[^"]+", client: <HOST>

Оно хотя бы работает.

[Сергей Горностаев]

Михаил Григорьев, за последние 8 лет, если не больше, я успешно применил эту регулярку на без малого двух десятках серверов. Да и продолжаю применять:

[Михаил Григорьев]

Сергей Горностаев, скорее всего дело в версии fail2ban, не подскажите какая ОС у вас и версия fail2ban ?

[Сергей Горностаев]

Михаил Григорьев, на скриншотах v0.8.13. Проверил на более свежем серваке с v0.9.6, тоже работает.

[gremlintv2]

Сергей Горностаев,
Привет
Сори за некропостинг
Не используете ли блэклисты в этих целях? Не могли бы вы ответить на мой вопрос: А какие блэклисты для NGINX используете Вы, и стоит ли их использовать? ?

[Сергей Горностаев]

gremlintv2, часто атаки происходят с IP-адресов динамического пула провайдеров, а значит в один момент на этом адресе может быть заражённая ботнетом машина, а через час обычный пользователь, который хочет зайти на сайт. Блэклист - верный способ лишить себя части клиентов.

Answer 2

[younghacker]

Главная проблема в том что Ваш адрес уже засвечен и чтобы уйти под CDN нужно сразу сменить IP для бэкэнда, а старый, владельцу атономки, лучше отправить в blackhole.

Если канал не забит (ssh нормально отвечает) пробуйте блокировать прямо в iptables регионами.
А если nginx успевает отвечать таймаутом бэкэнда (узкое место движок сайта) - то можно блокировать в nginx.

Первый шаг - хостер / датацентр. Спросите чем могут помочь, им по сути тоже нет резона держать хост под атакой.

Затем вытяните из логов все запросы за время атаки отсортируйте по количеству и составьте список 100-300 самых активных и вычислите их сети автономки и регион. Если это одна страна и она не ваша целевая - блокируйте на время всю страну автономки и так далее. Для начала можете заблокировать просто около 300 конкретных хостов.
Если сайт начнёт работать, контролируйте что происходит дальше. Атака может смещаться на другие IP.

Если это не поможет переходите под защиту CDN с защитой от DoS.
Сразу после этого меняйте IP так как этот уже спален.
Кроме этого пропишите в iptables правила которые режут трафик отовсюду за исключением сетей CDN.
Не отрежьте случайно свой ssh.

CloudFlare имеет бесплатный вариант эккаунта. Но отмечу что нам заваливали 3 сайта которые находились на платном эккаунте. Атака велась из Вьетнама Кореи, Бразилии и Украины. Пытались блокировать по сетям прямо в CDN, но пакеты из заблокированных сетей всё равно долетали до наших серверов где мы их уже блокировали.

По остальному смотрите что с бэкэнтом который готовит страници для nginx. Что с количеством процессов как они загружены сколько потребляют памяти и чего ждут. Атака это хороший случай чтобы над тем где бутылочное горло.

Answer 3

[Пума Тайланд]

Да просто баньте айпишники в фаеволе с такими запросами