Ложатся сервера от пустых HEAD запросов как побороть?

Question

[Денис]

Уважаемые привет!
Ложатся сервера от пустых HEAD запросов, юзер генты разные, рефера нет.
Это не боты, понимаю когда поисковые боты заходят.. а тут просто разные браузеры..
Вот кусок из log

116.231.90.3 - - [25/Feb/2019:12:43:10 +0200] "HEAD /watch/ami-ki-tomake-khub-birokto-korchi-cover-song-bengali-new-song/_NVvYMXhtzg HTTP/1.0" 200 - "-" "Mozilla/5.0 (compatible; MSIE 10.0; Macintosh; Intel Mac OS X 10_7_3; Trident/6.0)"
62.99.178.46 - - [25/Feb/2019:12:43:11 +0200] "HEAD /watch/obrabotka-poni-zakat-podarok-dlya-emon-pie-ili-sanshi-chan-chitayte-opisanie/EWrJAjVmLAk HTTP/1.0" 200 - "-" "Mozilla/5.0 (Windows NT 6.1; rv:12.0) Gecko/20120403211507 Firefox/14.0.1"
82.135.249.196 - - [25/Feb/2019:12:43:11 +0200] "HEAD /watch/sleep-well/ZbVeFEHOaJQ HTTP/1.0" 200 - "-" "Mozilla/5.0 (Windows; U; Windows NT 6.1; zh-TW; rv:1.9.2.4) Gecko/20100611 Firefox/3.6.4 ( .NET CLR 3.5.30729)"
169.255.127.137 - - [25/Feb/2019:12:43:11 +0200] "HEAD /watch/ppap-game-high-score-pineapple-pen-apple-pen-game/Do-aGlfTNIE HTTP/1.0" 200 - "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 6.1; chromeframe/12.0.742.100; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C)"
116.231.90.3 - - [25/Feb/2019:12:43:11 +0200] "HEAD /watch/mick-martin-the-blues-rockers-i-believe-in-you/V_kwDPUjBkU HTTP/1.0" 200 - "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0"
177.52.249.128 - - [25/Feb/2019:12:43:11 +0200] "HEAD /watch/kak-legko-sdat-oge-po-literature-na-maksimum-moy-opit/zsUklqcR-yk HTTP/1.0" 200 - "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.14 (KHTML, like Gecko) Chrome/10.0.602.0 Safari/534.14"
82.135.249.196 - - [25/Feb/2019:12:43:12 +0200] "HEAD /watch/shtamboviy-krizhovnik-pakspravila-ukhoda-i-plodonoshenie/iuXdbqvcLxw HTTP/1.0" 200 - "-" "Opera/9.80 (X11; Linux i686; U; en-GB) Presto/2.2.15 Version/10.00"
157.55.39.82 - - [25/Feb/2019:12:43:13 +0200] "GET /user/UCoLrcjPV5PbUrUyXq5mjc_A HTTP/1.0" 302 20 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
169.255.127.137 - - [25/Feb/2019:12:43:12 +0200] "HEAD /watch/uzi-sosudov-golovnogo-mozga/bs_0Vd95K2k HTTP/1.0" 200 - "-" "Mozilla/5.0 (X11; U; Linux i686; de; rv:1.9.2.15) Gecko/20110330 CentOS/3.6-1.el5.centos Firefox/3.6.15"
177.52.249.128 - - [25/Feb/2019:12:43:13 +0200] "HEAD /watch/worst-kool-aid-ever-ragnas-day-1/QzT5cLyDWMM HTTP/1.0" 200 - "-" "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.134 Safari/534.16"
116.231.90.3 - - [25/Feb/2019:12:43:13 +0200] "HEAD /watch/the-saints-stranded/Q-GueNOKolo HTTP/1.0" 200 - "-" "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.14 (KHTML, like Gecko) Chrome/24.0.1292.0 Safari/537.14"
82.135.249.196 - - [25/Feb/2019:12:43:13 +0200] "HEAD /watch/strizhka-graduirovannoe-bob-kare-strizhka-kare-na-nozhke/x6pfsJ7Hc3E HTTP/1.0" 200 - "-" "Mozilla/5.0 (X11; U; CrOS i686 0.9.128; en-US) AppleWebKit/534.10 (KHTML, like Gecko) Chrome/8.0.552.341 Safari/534.10"
169.255.127.137 - - [25/Feb/2019:12:43:14 +0200] "HEAD /watch/ak-scumfam-round-here-music-video-freekdot/lDERDYxjHLI HTTP/1.0" 200 - "-" "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.460.0 Safari/534.3"

Началось это всё неделю назад..
Запросы исключительно идут с утра и до вечера, ночью сервера отдыхают от этого..
Сперва были запросы с 1 ip на все 4 сервера, забанил всё успокоилось и через пол дня началось по новой но уже с 4х разных ip тоже их забанил и опять через некоторое время по новой.
Может вообще запросы HEAD запретить, но разрешить их только поисковикам?
Как сделать не пойму..
HELP помогите..

Comments

[Сергей Горностаев]

Было бы неплохо уточнить, что у вас за сервера, и что именно значит "ложатся".

[Денис]

Сергей Горностаев, забивается память апачи

[ky0]

Денис Носков, ага, вот и причина. Резать, резать к чёртовой матери!

[d'Ivan]

1. запросы HEAD легитимны и их неразумно блокировать.
2. Под видом обычных браузеров могут скрываться именно боты.

[d'Ivan]

В качестве крайней меры можно заблокировать все подсети кроме стран, которых нельзя блокировать. Не знаю, правильно ли это.

[Ezhyg]

Я мало понимаю, но догадываюсь по адресу запроса, что это именно боты и некая целенаправленная "атака", как вариант - "проверка на вшивость":

watch/ak-scumfam-round-here-music-video-freekdot/lDERDYxjHLI

watch - "команда" просмотра на тытрубе, после слеша идёт, похоже заголовок, возможно, название видео, а последний набор символов - и есть "код" видео, в точности, как на трубе. Мало того, я проверил догадку - если набрать в трубе адрес - xxx.youtube.com/watch?v=lDERDYxjHLI - там будет именно то самое видео AK (ScumFam) - Round Here [Music Video] #FreeKDot. С остальными адресами то же самое.

Это конечно мало поможет, но похоже на некий способ "раскрутки". Или у кого-то сошёл с ума бот, но в это я не верю.

Answer 1

[bkosun]

Используйте fail2ban, чтобы анализировать логи и блокировать нежелательные IP в автоматическом режиме.