Как запретить доступ к сайту при прямом заходе, исключая ботов ПС?

Question

[falkas]

Для примера, есть сайт igrydengy.ru. Если зайти на сайт из яндекса по любому запросу, то сайт открывается. А если сделать прямой заход, то выдаст сообщение "Доступ к сайту закрыт для пользователей из РФ". Причем поисковые системы хорошо индексируют данный сайт. Значит боты в исключениях. Как этого можно добиться? В голову пришла подобная идея, но код ниже запрещает доступ и ботам ПС.

if (empty($_SERVER['HTTP_REFERER'])) {
 echo 'сайт закрыт для пользователей из РФ';
}
else {
echo 'Реферер есть, контент доступен';
}

Comments

[dollar]

Узнайте User-Agent ботов и добавьте в исключения.

[falkas]

P.S. Мой пример на php, думаю это правильно решается другим способом.

Answer 1

[Иван Шумов]

Валидация происходит по заголовкам. Есть официальный список заголовков поисковых машин. Это раз.

Два - блокировка производится по региону, за исключением ботов.

Три - вы правы, логика сайта тут не при чем. Это делают на уровне маршрутизации трафика: CDN (Cloudfront, Cloudflare и т.п.)

Comments

[falkas]

нет, блокировка не по регионам. Это 100 %. даже через аномайзер, если сделать прямой заход будет сообщение "Доступ закрыт пользователям из России". А при переходе из яндекса, к примеру все ок. И можно дальше гулять спокойно по страницам сайта.

[Иван Шумов]

falkas, тогда это тупая блокировка чисто по заголовкам. А что вы имеете ввиду под анонимайзером?

[dollar]

Вообще-то это любопытная идея для, например, отвода глаз всеми любимого Надзора. Пользователи попадают на сайт, а проверяющие видят заглушку.
Конечно, это защита от дурака, но и проверяющие нынче умом не блещут пока что. Вот если это станет массово, тогда зачешутся, да.

[Иван Шумов]

dollar, а ещё это клоакинг за который поисковики банят)

[dollar]

банят

Если автор вопроса говорит правду, то не очень-то банят.

[falkas]

Иван Шумов, плагин для смены IP, чтобы получить доступ к сайтам заблокированным РКН.
Вот не совсем тупая. Боты в исключениях. И результаты проверки записываются в кеш браузера. Если 1 раз проверку не прошел, появилось сообщение "доступ закрыт для пользователей из РФ", то дальше каким способом не заходи, будет это сообщение, пока не почистишь кеш. Хотя я туповат, может для меня это кажется сложным.

[Иван Шумов]

falkas, в любом случае это клоакинг и это незаконно для поисковиков)

[Иван Шумов]

dollar, банят, просто не всех же сразу) облака тоже не резиновые

[falkas]

dollar, да-да, именно из-за РКН. Мой сайт 2 раза забанил РКН за месяц. Решил поискать запросы, аля казино, играть на деньги и т.д. Посмотреть как казино то банятся, и банятся ли вообще. В итоге в топе почти все сайты с подобной фишкой. Видимо не банят именно поэтому.

[dollar]

Если 1 раз проверку не прошел, появилось сообщение "доступ закрыт для пользователей из РФ", то дальше каким способом не заходи, будет это сообщение, пока не почистишь кеш

Это куки.
Других способов нет. Точнее, другие способы я не проверял, потому что на левых сайтах не включаю JavaScript, чтобы мои 0-day не щупали.

[Gip]

ни из какого яндекса, лично у меня сайт не открылся.

[falkas]

Giperoglif, видимо вы перед этим открывали его напрямую. Там куки пишутся. Попробуйте через инкогнито открыть яндекс и зайти через поиск.