Гугл бомбит сайт левыми запросами, как исправить?

Question

[fStrange]

Вот уже больше месяца бот гугл забрасывает группу сайтов однотипными запросами.

Вот пример из лога Апача.

66.249.64.174 - - [23/Dec/2019:08:25:08 +0200] "GET /109367389/sudationreflex.jp HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.64.172 - - [23/Dec/2019:08:25:02 +0200] "GET /archegone-109244901_mammarymammary/df9d4eo.com.co HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.64.172 - - [23/Dec/2019:08:24:57 +0200] "GET /supervene-109309288_incipience.fyi HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.64.172 - - [23/Dec/2019:08:24:51 +0200] "GET /fishpaste/109008726_synchronicitysynchronicity415a3aj.software HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.64.172 - - [23/Dec/2019:08:24:45 +0200] "GET /tawney_111772799-corregidor.art HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.64.172 - - [23/Dec/2019:08:24:39 +0200] "GET /109320230-planningladylady.fyi HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.64.172 - - [23/Dec/2019:08:24:33 +0200] "GET /f74292bzebeck_109137128_adenovirus.jp HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.64.172 - - [23/Dec/2019:08:24:28 +0200] "GET /stormfulunswornunsworn-108902950.wang HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.64.172 - - [23/Dec/2019:08:24:22 +0200] "GET /a28d13udexterous/109361993/baguio.art HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.64.172 - - [23/Dec/2019:08:24:16 +0200] "GET /dupabilitydupability/underagef7c707h-108817600.software HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.64.172 - - [23/Dec/2019:08:24:10 +0200] "GET /emissary_111090867/a7b33dlperpetrationemissary.wang HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Разумеется страниц таких нет. Ссылок таких на сайте нет. В сайтмепе тоже.
IP я проверял, это именно Гугл.
Обращения с разных IP. Это поведение бота серьезно грузит сайты. По сути DDOS получается.
Банить не хочется, ибо чревато последствиями и выпадением из поиска.

Как решить проблему?

Answer 1

[Иван Шумов]

Поставь CDN перед сайтом, например, cloudflare и настрой на нем кэширование (хотябы на 404)

Comments

[fStrange]

Саму проблему нагрузки я решил.
Но мне хочется все таки, чтобы Гугл прекратил вредительство.

[Иван Шумов]

fStrange, Гугл прекрасно справляется с 404 и больше не мучает. Единственная причина такого поведения - ссылки с других ресурсов. Надо анализировать запросы на предмет реферера. Если нет систематики то сочувствую

[fStrange]

Иван Шумов, т.е. это не ошибка бота, а именно ссылки с других ресурсов?

Хм, но я же так, могу задосить большинство сайтов расположенных на слабеньких хостингах, чисто теоретически. Генеря левые ссылки на сайт конкурента, через сеть сайтов. Неужели нет средства сказать Гуглу, что по подобным ссылкам ходить не надо?

[fStrange]

у этих запросов реферрера нет. Я анализировал логи за неделю примерно.

[Иван Шумов]

fStrange, так, а частности, иногда и происходит. Объяснить Гуглу невозможно по тому что нет специального алгоритма "подобных ссылок". Бот Гугла не ошибается - что нашел а интернете то и парсит

[Иван Шумов]

fStrange, ну, если нет реферера то все совсем грустно. Можно было бы хоть к владельцам ресурсов обратиться

[WebReklamist]

Забанить смысла нет, скорее всего это не Гугл, а тот, кто под него косит понимая, что врядли его будут банить.
Это атака на сайт. Скорее всего, конкуренты стараются, сталкивался с таким.
Способ атаки - ссылки на сторонних сайтах (чаще всего лом или дырки в защите) или бото-софт, работающий через паблик-прокси.

Сloudflare + кэширование = слабое решение, от которого может быть больше вреда для трафика и SEO, чем пользы.

Попробуйте взять ВПС/ВДС, может справится с нагрузкой. Скорее всего, надолго конкурента не хватит, т.к. оплачивать атаку недешево, если не сам занимается. Если через 3-4 недели не отстанут, то пробуйте Сloudflare + кэширование, хотя лично мне это решение не нравится.

[fStrange]

WebReklamist, IP посмотрите. Это Гугл.
И это никакие не конкуренты , у сайтов посещаемость. 5-10 посетителей в сутки. 2 сайта из 5 вообще благотворительные. Нет смысла ддосить.

А с нагрузкой я справился и без Cloudfare и ВПС, об этом написано же выше.

[WebReklamist]

Усли IP гугловский, это не значит, что это не атака. И атака не обязательно типа ДДОС. Есть много других вариантов. Если бот гугловский, то это уже проясняет часть общей схемы.

Неправильные ссылки на ваш сайт могут размещать либо конкуренты (при никаком трафике это исключено), либо взломщик-экспериментатор. В вашем случае, больше всего похоже на второе.

Бот гугла переходит на ваш сайт по неправильной ссылке, получает 404 (это лучше) или нет (это хуже), но вы в обоих ситуациях в минусе. Если ссылки размещает экспериментатор, то возможно, он что-то сделал не так. Например, ошибка/невнимательность или непонимание некоторых механизмов работы ПС.

Или еще один вариант - агрессор пытался массово ломать сайты с одним движком и работать через найденную, либо созданную дырку на сайте, а потом, например, индексировать свои говносайты, используя дырку. Только не проверил наличие дырки на всех ломаемых сайтах или получил неверный ответ при проверке ее наличия. Теперь он тупо размещает на гостевухах или редиректных ссылках софтом ссылки на другие ресурсы, на которых и находит их бот гугла. Если он анализирует результаты своей деятельности, то скоро увидит, что с вашим сайтом не сработало и почистит список атакуемых, если не ленивый дебил конечно. :)

У вас используются на сайте редиректы? Если покажете сайт, попробую посмотреть подробнее. Самому интересен этот случай. У меня было подобное, хотелось бы разобраться в механизме.