Как в .htaccess запретить пустые рефереры, но разрешить поисковых ботов?

Question

[golf4man]

Итак, задача заключается в следующем:

На сайт нужно заблокировать все прямые визиты, т.е. это визиты с пустым реферером. Делаю так:

RewriteEngine on 
RewriteCond %{HTTP_REFERER} ^$ 
RewriteRule^- [F,L]

Все работает корректно, кроме того, что помимо прямых визитов еще блокируются и поисковые боты, а этого делать мне нельзя. Пожалуйста, подскажите на примере одного бота, как это может быть записано в .htaccess.

Answer 1

[dodo512]

Поисковые боты указывают заголовок From.

RewriteCond %{HTTP_REFERER} ^$
RewriteCond %{HTTP:FROM} !(googlebot|yandex)
RewriteRule ^ - [F]

Answer 2

[SagePtr]

А если у сайта, с которого переходят, Referrer-Policy запрещает передачу рефереров? Тогда браузер не будет этот заголовок передавать, и ваш сайт заблокирует посетителя. К чему подобная дискриминация? И чем она спасёт от злоумышленника, который легко подделает заголовок Referrer?

Comments

[golf4man]

Да, Вы правы, сейчас почти на всех сайтах ко всем внешним ссылкам добавляется атрибут noreferrer. Это значит, что на мой сайт ко мне придут с пустым реферером и я его заблокирую. И для моей ситуации такое решение подходит.

Не должны блокироваться только:

• визиты из поиска
  
• визиты поисковых ботов
  

[SagePtr]

golf4man, в таком случае есть вероятность, что вашу ситуацию посчитают клоакингом и сайт выкинут из поиска.

[golf4man]

SagePtr, в Яндекс (версии 2020 года) выкинут быстрее за накрутку плохих поведенческих, которые как раз крутят через прямые визиты с пустым реферером.

[SagePtr]

golf4man, как пустые визиты помогают накрутке?

[golf4man]

SagePtr, это не пустые визиты, это визиты с пустым реферером (накручивают как раз через прямые заходы, соцсети), которые ведут себя сильно отлично от остального трафика, приходящего из поисковиков, рекламы.

Answer 3

[catalogs]

В antibot.cloud можно без проблем запрещать доступ посетителям с пустым реферером. А так же по языку браузера, по user agent, ip и подсетям.