Виктор Таран, Нужно для того, чтобы запретить роботом заходить на сайт ( они ухудшают ПФ )
Прямой переход, это когда человек ( но в большей степени робот) вводит в адресную строку прямую ссылку на сайт, или на какую то конкретную страницу
Навряд ли человек будет вводить в адресную строку трех уровневую ссылку
wisgest, ПФ - Поведенческие Факторы
Робот как раз таки это и делает, и это нужно чтобы понижать позиции в поисковой системе ( за частую это Яндекс )
Есть софт, в него загружается список URL ( от 1 до бесконечности ), и запускаем
После чего бот "вводит" эти URL производит минимальную активность на сайте и выходит. Таких заходов 30-50% от всего суточного трафика
Виктор Таран, либо для кажущегося исполнения решения суда по удалению незаконного содержимого, либо чтобы дело не доходило до такого решения. Такой вопрос здесь задаётся неоднократно.
Андрей, ну и как ПС узнает о запросах от роботов? И можно подумать, им не известно, что большинство запросов поступает не от живых людей. И делается это не чтобы понижать позиции в поисковой выдаче, а чтобы собирать сведения (как и роботы основных ПС, им вы тоже хотите запретить доступ?) и искать уязвимости. Ну или создавать лишнюю нагрузку. Только с этим и имеет смысл бороться, а не с мифическими ПФ, и никак не запретом прямых заходов.
Об источнике перехода можно узнать только по заголовку запроса Referer, который легко подделывается, передача которого отключается в настройках обозревателя, запрещается атрибутом ссылки rel=noreferrer и часто используется роботами, чтобы выдать себя за не-робота и для Referer-спама.
Правильно ли я понимаю что.
1. вы считаете что роботы снижают ПФ по коственным признакам и вас не смущяет увеличение 404 при органических прямых переходах а их у вас процентов 8 от трафика?
2. яндекс гугл роботов вы к ним не относите, притом в весь список яндекс и гугл сервисов ?
3. если пункт два соблюден и рефера нет то забанить?
