Как настроить robots.txt, чтобы бот микрософта не создавал нагрузки?

Question

[Айрат Кадырмаев]

Добрый день! Помогите правильно создать файл robots.txt. дело в том, что хостеры пишут:

"На текущий момент на Вашем сервере больше всего нагрузку создают процессы php, данная нагрузка может быть вызвана посещением поисковых ботов Вашего сайта, за текущие сутки поисковый бот от Microsoft установил подключение к Вашему сайту более 5000 раз:
2188 207.46.13.106
3351 207.46.13.43

Попробуйте ограничить поисковых ботов в файле robotx.txt для Вашего сайта при помощи директивы crawl-delay, Вы можете ознакомиться со следующей инструкцией для осуществления данной настройки:
https://help.yandex.ru/webmaster/controlling-robot... "

Сейчас файл роботс такой -

User-agent: *
Disallow: /wp*

Так может сделать?

User-agent: *
Disallow: /wp*

User-agent: Microsoft
Crawl-delay: 60

Answer 1

[Natan]

ayrat33 Вы уверены что верно указали user-agent бота? Это поддержка хостинга Вам посоветовала? И значение Crawl-delay указано слишком большое. Почитайте Crawl delay and the Bing crawler, MSNBot. Попробуйте, например, добавить:

User-agent: msnbot 
Crawl-delay: 10

Но не факт что это поможет, решайте проблему с поддержкой хостинга.
Может быть у бота другой user agent, например msnbot-media или вообще саппорту хостинга bingbot или любой другой бот не понравился. И вообще, вполне возможно что причина превышений лимитов по нагрузке совсем не в обращениях ботов.

P.S.
Robots Database
Пример robots.txt для WordPress
Как составить файл robots.txt для WordPress

Comments

[Айрат Кадырмаев]

User-agent: *
Crawl-delay: 60
Disallow: /wp-*

Вот так посоветовали мне хостеры сделать

[Natan]

ayrat33: разобрались с проблемой на хостинге?

[Айрат Кадырмаев]

Natan: сайт оптимизировали скорость увеличилась! но с роботс.txt - еще не разобрались! можете помочь?

[Natan]

ayrat33: уточните у поддержки user agent бота, который слишком часто сканирует Ваш сайт и попробуйте прописать для него Crawl-delay для начала 10 в robots.txt. Crawl-delay: 60 это очень много.

[Айрат Кадырмаев]

Natan: вообще эту строку писать не стоит наверное!

в настоящий момент файл выглядет так

User-agent: *
Disallow: /wp*

сайт avtoexperts.ru . что вы могли порекомендовать - как его правильно написать файл?