Как запретить ботов для индексации сайта?

Question

[Varoke]

Возможно ли запретить индексацию сайта от чужих сайтов/ботов, чтобы не получить обратные ссылки от мусорных сайтов. Таких как топ миллион сайтов в Alexarank и тд.

И как сделать чтобы сайт смогли индексировать только конкретные боты, Гугл, яндекс, бинг. Для остальных сайт был закрыт.

Спасибо за ответы.

Answer 1

[Dimonchik]

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Disallow: /

но на практике этого мало и нужно по логам еще блочить левые IP