Как выборочно закрыть сайт для поисковых роботов?

Question

[softshape]

Слишком много развелось роботов. Как выборочно можно закрыть для них сайт? Оставить GoogleBot, YandexBot, ну и все - всякие Megaindex только создают лишнюю нагрузку на сайт. Как от них точечно избавиться?

Answer 1

[Алексей]

Вы правильно казали тэг - robots.txt - отсюда и надо плясать.
Например - www.pixelplus.ru/samostoyatelno/stati/indeksatsiya...
Или что-то конкретное не получается или не находится способ сделать это?

Comments

[softshape]

В общем я не стал доверять роботам и просто закрыл им доступ в nginx, взяв за основу пример https://gist.github.com/peterjaap/ab5801152e1d0f87...

Answer 2

[Александр Черных]

сети поисковых роботов