Как запретить прямые заходы на сайт через .htaccess?

Question

[Андрей]

Приветствую, подскажите пожалуйста, как запретить прямые переходы на сайт через .htaccess ?
Или каким-то другим способом
Благодарю!

Comments

[Виктор Таран]

1. зачем это нужно ( возможно это нужно сделать по другому)
2. что вы считаете прямым входом, без рефера ?

[Андрей]

Виктор Таран, Нужно для того, чтобы запретить роботом заходить на сайт ( они ухудшают ПФ )
Прямой переход, это когда человек ( но в большей степени робот) вводит в адресную строку прямую ссылку на сайт, или на какую то конкретную страницу
Навряд ли человек будет вводить в адресную строку трех уровневую ссылку

[wisgest]

Андрей, что такое ПФ? (Едва ли робот занимается вводом в адресную строку прямой ссылки на сайт.)

[Андрей]

wisgest, ПФ - Поведенческие Факторы
Робот как раз таки это и делает, и это нужно чтобы понижать позиции в поисковой системе ( за частую это Яндекс )
Есть софт, в него загружается список URL ( от 1 до бесконечности ), и запускаем
После чего бот "вводит" эти URL производит минимальную активность на сайте и выходит. Таких заходов 30-50% от всего суточного трафика

[wisgest]

зачем это нужно

Виктор Таран, либо для кажущегося исполнения решения суда по удалению незаконного содержимого, либо чтобы дело не доходило до такого решения. Такой вопрос здесь задаётся неоднократно.

[wisgest]

Андрей, ну и как ПС узнает о запросах от роботов? И можно подумать, им не известно, что большинство запросов поступает не от живых людей. И делается это не чтобы понижать позиции в поисковой выдаче, а чтобы собирать сведения (как и роботы основных ПС, им вы тоже хотите запретить доступ?) и искать уязвимости. Ну или создавать лишнюю нагрузку. Только с этим и имеет смысл бороться, а не с мифическими ПФ, и никак не запретом прямых заходов.

Об источнике перехода можно узнать только по заголовку запроса Referer, который легко подделывается, передача которого отключается в настройках обозревателя, запрещается атрибутом ссылки rel=noreferrer и часто используется роботами, чтобы выдать себя за не-робота и для Referer-спама.

en.wikipedia.org/wiki/Referer_spoofing

Робот как раз таки это и делает

Прямо так и печатает.

[Андрей]

wisgest, роботы ПС индексируют сайт "бегая" по sitemap. На них это не как не отразиться

[Виктор Таран]

Правильно ли я понимаю что.
1. вы считаете что роботы снижают ПФ по коственным признакам и вас не смущяет увеличение 404 при органических прямых переходах а их у вас процентов 8 от трафика?
2. яндекс гугл роботов вы к ним не относите, притом в весь список яндекс и гугл сервисов ?
3. если пункт два соблюден и рефера нет то забанить?