Как защититься от DDoS от YandexBot/3.0?

Question

[Дмитрий Гусев]

Здравствуйте!
Периодически наблюдаю на разных своих сайтах всплески трафика от YandexBot/3.0.
Вот хидера запроса

/?gclid=CLP4ovuGrcYCFejJtAodauILSQ////////////////////////
ru,uk,be,en,*
{"connection":"upgrade","host":"whitehouse-koblevo.com","x-real-ip":"5.255.253.151","x-forwarded-for":"5.255.253.151","user-agent":"Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)","from":"[e-mail]","accept-encoding":"gzip,deflate","accept-language":"ru, uk;q=0.8, be;q=0.8, en;q=0.7, *;q=0.01","accept":"*/*"}

Наплывы наблюдаю несколько раз в сутки, по 30-40 минут.
Обьем трафика на критичный (4-6 запросов в секунду), но очень напрягает такая ситуация.

Подскажите, как решить проблему, это Яндекс бот взбесился или кто-то маскируется под него?

Comments

[Wsearch]

Здравствуйте! Если не секрет, как проблему решили? У меня просто такая же беда сейчас. До 90% лимита боты Яндекса забирают .

Answer 1

[Пума Тайланд]

это просто паук яндекса
выставите в роботсе чтобы он ночью к вам только заходил например ну или оптимизируйте сайт чтобы он не замечал его так как 4-5 запросов в секунду ещё не много, на много страничники бывает по 60 запросов в секунду шлет паук и тогда уже сложнее жить.

Answer 2

[Alejandro Esquire]

В техподдержку Яндекса не задавали вопрос?

Comments

[Дмитрий Гусев]

Задал, но ответа не получил еще

Answer 3

[Дмитрий Гусев]

Техподдержка Яндекса ответила:

Да, этот робот принадлежит нам. Если Вы хотите снизить нагрузку на Ваш сервер, я рекомендую Вам разместить директиву Crawl-delay с соответствующим значением в файле robots.txt: yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#crawl-delay.

Comments

[kravru]

С 22 февраля 2018 года Яндекс перестал учитывать директиву Crawl-delay. Подробно об этом читайте в блоге.

Чтобы задать скорость, с которой роботы будут загружать страницы сайта, используйте Скорость обхода сайта в Яндекс.Вебмастере.