Защита от плохих ботов/ddos защита?

Question

[newaitix]

Каждые два часа на сайт (интернет магазин) приходит около 50 ботов и совершают от 2000 до 3000 запросов на протяжении 5-10 минут.
Вот пример того как это выглядит

94.141.177.70	94	141	177	70	15/Jul/2018 06:36:21	/category/shuttle-receivers/	301	522
54.37.74.196	54	37	74	196	15/Jul/2018 06:36:21	/category/pioneer-native-receivers/	301	529
54.37.74.196	54	37	74	196	15/Jul/2018 06:36:21	/category/native-receivers/	200	26882
94.141.177.70	94	141	177	70	15/Jul/2018 06:36:21	/category/receivers/	200	23986
80.211.160.11	80	211	160	11	15/Jul/2018 06:36:22	/category/pioneer-marine-audio-speakers/	200	15484
45.115.176.251	45	115	176	251	15/Jul/2018 06:36:22	/category/pioneer-media-receivers-stations/	200	20535
54.37.74.196	54	37	74	196	15/Jul/2018 06:36:23	/product/marine-speakers-pioneer-ts-mr1600/	200	15811
94.141.177.70	94	141	177	70	15/Jul/2018 06:36:23	/product/cd-usb-receiver-jvc-kw-r500eyd/	200	18492
80.211.160.11	80	211	160	11	15/Jul/2018 06:36:23	/product/native-reciever-gazer-cm182-re5-for-honda-civic-2012/	200	22725
94.141.177.70	94	141	177	70	15/Jul/2018 06:36:23	/product/pioneer-deh-s3000bt/	200	17935
54.37.74.196	54	37	74	196	15/Jul/2018 06:36:23	/product/marine-speakers-pioneer-ts-mr1640/	200	15987
120.138.102.45	120	138	102	45	15/Jul/2018 06:36:23	/category/pioneer-car-audio-speakers/	200	21485
80.211.160.11	80	211	160	11	15/Jul/2018 06:36:23	/product/native-reciever-gazer-cm6008-1k5-android-for-volkswagen-skoda-seat-2008-2017/	200	21173
45.115.176.251	45	115	176	251	15/Jul/2018 06:36:23	/product/pioneer-mvh-x580bt/	200	17638
54.37.74.196	54	37	74	196	15/Jul/2018 06:36:23	/product/marine-speakers-pioneer-ts-mr2040/	200	15913
94.141.177.70	94	141	177	70	15/Jul/2018 06:36:23	/product/sony-cdx-g1200u/	200	18199

Обратите внимание на ip 94.141.177.70 за 3 секунды он совершил 3 запроса на разные страницы. Логичный вопрос зачем ?
Обычный человек пришел, посмотрел картинки, прочитал пару строк и пошел на другую страницу что скорее всего займет больше 3 секунд.
Есть способ идентифицировать этих ботов они все представляются как Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0
За 2 суток насчитывается 3000 уникальных ip.
за сутки с такой строкой идентификации на сайт приходит 90 000 запросов. При это делаются какие то не понятные попытки сделать что то не понятное типа /os.aspx?name=ogFoot хотя у меня нет такого файла и никогда не было.
А сервер на протяжении этих 5-10 просто сходит сума нагрузка вырастает до максимума. Не понятно кто и что делает либо хотят потопить сайт либо пытаются срезать цены, другую информацию.
Посоветуйте что делать в это ситуации ?
OS: Ubuntu
Веб-сервер: Nginx

Comments

[CityCat4]

боты ищут сервера, работающие на винде (os.aspx). Попробуйте fail2ban, если он применим здесь.

Answer 1

[Developer]

Ищут уязвимости, перебирая страницы и запросы к ним по шаблону, который хранится у них в словаре. Например, у одинаковых CMS одинаковые точки входа в админку, на поисковые страницы и прочее.
Обычно это делается через специальный софт, в который заложен набор таких предопределённых параметров.
На мой сайт тоже такие атаки делаются. Но у меня он выдерживает высокие нагрузки, так что 100 тысяч лишних запросов в сутки он даже не заметит.
Улучшайте качество сайта, чтобы он выдерживал такой траффик, т.к. писать фильтры для таких запросов - нереально.
Временное решение - порезать по User-Agent, но велика вероятность, что отвалится большой процент юзеров с точно таким же юзерагентом.
Либо поставьте что-то вроде CloudFlare

Comments

[newaitix]

/category/shuttle-receivers/ какое отношение имеет к админке ? Ресивер это не логи, и не датабейз.

[Developer]

newaitix, админка - это малая часть запросов. Ищут уязвимости на всех страницах, до которых смог дотянуться бот

Answer 2

[ky0]

Это поиск уязвимостей, а не ддос - если веб-сервер настроен нормально, ни к каким отрицательным последствиям это привести не должно. Диагностируйте, что нагружает сервер и исправляйте это, либо увеличивайте производительность.

Comments

[newaitix]

Но они же ходят и по нормальным ссылкам. Типа: /category/native-receivers/
Хотя /category/pioneer-native-receivers/ 301 и тут же в эту же секунду /category/native-receivers/ 200.
Не пойму как они работают и зачем это все нужно ? Какая выгода с этого ?

[Developer]

newaitix, Ещё раз - поиск уязвимости. Выгода будет, когда наткнутся на дыру и сломают ваш сайт

[CityCat4]

newaitix, Найти дыру, сломать, залить майнер. Бот не умеет рассуждать. У него есть сценарий "проверить на дыру А, на дыру Б, на дыру С..." - он проверяет. Ему пофиг даже, что сайт не на винде - такие боты "атакуют по площади"