Здравствуйте. Яндекс как ненормальный каждый день в течение недели полностью индексирует все страницы моего сайта. Это как бы хорошо, но у меня установлен API, который срабатывает каждый раз, а количество запросов по нему ограничено тарифом. Раньше все было нормально, индескировал пару сотен в день и все, а сейчас по 7 000.
Как можно ограничить индексацию? Читал, что можно запретить индексацию от основного бота, разрешив только дополнительным и наоборот, поможет ли это?
Ну я с таким столнулся при определении города по IP — перенес дергание АПИ на JS и в сессию писал, но как у вас бизнес-логика выстроена — зависит от проекта уже...
