Как запретить индексацию сайта конкретным поисковиком?

Question

[lubezniy]

В связи с событиями последнего времени в российских IT расхотелось видеть один администрируемый сайт в выдаче одной поисковой системы, и только её. Как я понимаю, для этого нужно каким-то образом запретить индексацию сайта поисковыми роботами этой системы. Есть ли предназначенные для этого какие-то настройки, например, в robots.txt? Или перечень User-Agent поисковых систем, по которым контент можно не отдавать?

Comments

[Сергей delphinpro]

на роботс паук может и забить.
надежнее прикрыть ему доступ по юзер-агенту прямо в веб-сервере (апач, нжинкс)

Answer 1

[prrrrrrr]

User-agent: StackRambler

https://devaka.ru/articles/list-of-search-bots

Comments

[wisgest]

Вы полагаете, в вопросе подразумевается Рамблер? Разве он, как поисковая система с собственным поисковым роботом, давно уже не сдох?

[lubezniy]

prrrrrrr Спасибо.
wisgest Для айтишников, может, и сдох. А пользователи - люди консервативные.