Поступают множество запросов от Google Bot, как решить данную проблему?

Question

[aliennbro]

Всем привет, анализ журнала доступа показывает множество запросов от Google Bot, обращающихся к таким страницам, как:

"172.69.68.251 - - [27/Jul/2022:23:45:09 +0300] "GET /undervaluinglikes9v90/wgkmsk528891.htm HTTP/2" 404 0 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""
"172.69.70.51 - - [27/Jul/2022:23:45:09 +0300] "GET /discount.php?dioxyau91453400 HTTP/2" 404 9918 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""
"172.69.71.155 - - [27/Jul/2022:23:45:10 +0300] "GET /discount.php?ilitmi467306 HTTP/2" 404 0 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""
"172.69.71.129 - - [27/Jul/2022:23:45:12 +0300] "GET /Q6qqAEJZ.html HTTP/2" 301 449 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""
"172.69.71.63 - - [27/Jul/2022:23:45:12 +0300] "GET /discount.php?overbd1045285 HTTP/2" 404 0 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""

За последние 24 часа было сделано 240,3 тыс запросов.
Все эти запросы создают очень высокую нагрузку на сайт. Может кто то сталкивался с такой проблемой, как можно решить ?

Answer 1

[Довольный Айтишникъ]

То, что в юзерагенте указан гуглобот вообще ничего не значит, там можно написать любую ересь, смотрите кому принадлежат айпи адреса, возможно вас ддосят.

Answer 2

[Александр Денисов]

Настройте обратный dns запрос, чтобы убедиться, что это GoogleBot. Это самый надёжный способ убедиться, что это GoogleBot.