Почему куча запросов со статусом 400?

Question

[WST]

Наблюдаю подозрительную активность в логе веб-сервера (nginx): на один из вхостов сыплются с достаточно высокой частотой (несколько запросов в секунду) непонятные запросы, на которые сервер ругается ошибкой 400 (bad request). Подозрительное в запросах то, что они приходят с огромного числа IP-шников в очень большом количестве (впрочем, недостаточном, чтобы считать это DDoS). IP-шники из совершенно рандомных стран мира. Есть даже IPv6-трафик. Судя по whois, IP-шники в основном провайдерские, в общей сложности их почти 7 тысяч.

79.90.117.95 - - [05/Nov/2012:22:28:35 +0100] jsmart.web.id "-" 400 0 "-" "-" "-" 71.173.86.173 - - [05/Nov/2012:22:28:36 +0100] jsmart.web.id "-" 400 0 "-" "-" "-" 71.173.86.173 - - [05/Nov/2012:22:28:36 +0100] jsmart.web.id "-" 400 0 "-" "-" "-" 89.14.108.68 - - [05/Nov/2012:22:28:36 +0100] jsmart.web.id "-" 400 0 "-" "-" "-" 89.14.108.68 - - [05/Nov/2012:22:28:36 +0100] jsmart.web.id "-" 400 0 "-" "-" "-" 89.14.108.68 - - [05/Nov/2012:22:28:36 +0100] jsmart.web.id "-" 400 0 "-" "-" "-"

Answer 1

[vsespb]

А сайт SSL?

Comments

[WST]

Нет. Вхосты с SSL на сервере есть, но конкретно данный — нет.

[vsespb]

— Может быть этот вхост является (или неожиданно стал если явно не задано) деволтным, и в него сыпется всё с других хостов.
— В некотором количестве такие записи в логах — норма. Зависит от того какой общий трафик на сервере.
— Может показывать на наличие некоторых сетевых проблем.
— Так же здесь кое-какая инфа
www.ruby-forum.com/topic/2953545
stackoverflow.com/questions/7334193/nginx-reverse-proxy-many-html-status-code-400-responses-why

— Посмотрите так же делали ли эти IP «нормальные» запросы и какие, может наведёт на мысли.

[WST]

Дефолтным он действительно является.
С общим трафиком на сервере данный примерно одного порядка.
И да, спасибо за дельный совет, все IP-шники, «попавшиеся» за несколько секунд просмотра лога, действительно совершали и нормальные запросы. Эти запросы шли на поддомен рассматриваемого. Возможно ли так, что браузер порождает какие-то запросы на домен верхнего (по отношению к данному) уровня?

Чисто ради интереса пытаюсь воспроизвести ситуацию, просматривая сайт, к которому идут нормальные запросы, пока что не удаётся.

[vsespb]

Ниже ответили (и по ссылке выше есть) что Chrome открывает коннекты, просто на всякий случай. Попробуйте это воспроизвести.

Если «неожиданно» такой трафик увеличился, то может vhost не был раньше дефолтным.

[WST]

Да, уже прочитал… Вхост всегда был умолчальным, а левый трафик просто раньше не замечали, я думаю.
В общем, браузер открывает соединения, которые не использует, а nginx закрывает их спустя некоторое время, отправляя ошибку 400. Хост подставляется умолчальный по той простой причине, что браузер не прислал заголовок Host. Если всё так, то это ничего страшного.
Спасибо всем за быстрый ответ :)

[WST]

Лучше б тогда nginx более говорящую ошибку отправлял, 408, например…

Answer 2

[librarian]

На хайлоаде Бартенев рассказал, что куча 400 это нормально. Просто гуглохром «на всякий случай» открывает несколько коннектов к серверу

Comments

[WST]

limit_req, ограничивающий число запросов в секунду с одного IP, в данный момент на рассматриваемых вирт.узлах, отключён. И даже будь он включён, статус ответа был бы 503, а не 400… Так что в данном случае, я думаю, это не совсем нормально. Может, попробовать временно сделать proxy_pass на какое-нибудь приложение-заглушку, просто слушающее порт и пишущее в лог весь трафик?

[librarian]

При чём здесь limit_req? Хром просто открывает подключение и всё. И висит. 400 значит кто-то открыл подключение и отвалился

Answer 3

[WST]

Дефолтным он действительно является.
С общим трафиком на сервере данный примерно одного порядка.
И да, спасибо за дельный совет, все IP-шники, «попавшиеся» за несколько секунд просмотра лога, действительно совершали и нормальные запросы. Эти запросы шли на поддомен рассматриваемого. Возможно ли так, что браузер порождает какие-то запросы на домен верхнего (по отношению к данному) уровня?

Чисто ради интереса пытаюсь воспроизвести ситуацию, просматривая сайт, к которому идут нормальные запросы, пока что не удаётся.

Comments

[WST]

Прошу прощения, не туда ответил.

Answer 4

[Дэн]

400 ответы говорят о том, что клиент шлет слишком большой заголовок.

Это помогает
large_client_header_buffers 4 16k;