Как запретить прямой вход на сайт и оставить доступ для поисковиков?

Question

[Kinozadrot]

Здравствуйте, нужно решить задачу, которую не знаю как реализовать

Необходимо открыть доступ к сайту только через переход с поисковой системы, поисковые боты тоже должны видеть сайт как рабочий. Но при вводе прямого адреса сайта в поисковик должна появляться ошибка.

Многие это делают как-то через CloudFlare, но я не понимаю механику процесса.

Вот пример: в поиске сайт seeddbaza.quest, при прямом входе вылетает ошибка:


Но если перейти по данному адресу через поисковик, любой, Яндекс или Гугл, редиректит на сторонний поддомен.

Answer 1

[Zettabyte]

Необходимо открыть доступ к сайту только через переход с поисковой системы

Запретить вход с пустым referer, разрешить только если реферер из списка: гугл, яндекс, ...

поисковые боты тоже должны видеть сайт как рабочий

Сделать исключение для пользователей, у которых в юзер-агент есть bot, либо точнее указать список: googlebot, yandexbot, и т.д. Эта информация лежит в разделе для вебмастеров каждого поисковика.

У CF почти наверняка есть более удобный вариант - он должен уметь отличать ботов, как по юзер-агент, так и по IP.

P.S.
Но самый лучший вариант - даже близко не подходить к той сфере, которой занимается эта seeddbaza.

Comments

[Kinozadrot]

Так вот и вопрос заключается в том что как сделать "так же") Сам по технологии не могу понять как это реализовано, но делают так многие сайты.