Как ограничить индексацию сайта яндексом?

Question

[vova1213]

Здравствуйте. Яндекс как ненормальный каждый день в течение недели полностью индексирует все страницы моего сайта. Это как бы хорошо, но у меня установлен API, который срабатывает каждый раз, а количество запросов по нему ограничено тарифом. Раньше все было нормально, индескировал пару сотен в день и все, а сейчас по 7 000.
Как можно ограничить индексацию? Читал, что можно запретить индексацию от основного бота, разрешив только дополнительным и наоборот, поможет ли это?

Comments

[Максим Федоров]

Ну я с таким столнулся при определении города по IP — перенес дергание АПИ на JS и в сессию писал, но как у вас бизнес-логика выстроена — зависит от проекта уже...

Ограничиь можно через Crawl-delay

[VladimirMelnik]

Здравствуйте, вы хотите отключить индексацию полностью или уменьшить количество заходов на сайт?

[vova1213]

VladimirMelnik, Полностью отключать ни в коем случае не хочу, с яндекса 50% трафика идет. Хотелось бы уменьшить, если это возможно.

Answer 1

[Артем Спиридонов]

robots.txt

User-agent: Yandex
Crawl-delay: 2.0 # задает таймаут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

https://yandex.ru/support/webmaster/controlling-ro...