Ребят robots_ssl.txt или robots.txt?

Question

[Андрей Андриевский]

Есть такая софтина websiteauditor, которая говорит, что на сайте с защищенным протоколом должен быть документ вида: robots_ssl.txt так вот я нигде в рекомендациях подобного не встречал, кто-то может дать ссыль или пролит свет.
P.S. Использую даже на https старый добрый robots.txt и все работает нормально!

Answer 1

[Владислав Яновский]

Есть ситуации, когда защищенный протокол https используется только для отдельных страниц на сайте (обычно это форма контактов, форма заказа и другие страницы, на которых пользователи могут вводить личные данные).

Для закрытия от индексации таких страниц делают отдельную версию инструкций, которая будет доступна по защищенному протоколу.

Создают файл robots_ssl.txt (можно использовать любое название файла) и настраивают параметры сервера таким образом, чтобы при запросе httрs://domain.com/robots.txt открывался файл robots_ssl.txt

Для этого в .htaccess прописывают нужные параметры:

RewriteEngine on 
Options +FollowSymlinks 
RewriteCond %{SERVER_PORT} ^443$ 
RewriteRule ^robots.txt$ robots_ssl.txt

443 порт используется для защищенных соединений, вместо стандартного 80.

Answer 2

[vhlv]

https://www.google.com/robots_ssl.txt
https://www.google.com/robots.txt

https://www.yandex.ru/robots_ssl.txt
https://www.yandex.ru/robots.txt

Comments

[nirvimel]

Интересно, для кого Гугл держит у себя "robots.txt"?

[aol-nnov]

nirvimel: для конкурентов! :-D

[nirvimel]

aol-nnov: Но ведь у него нет конкурентов. Или он забыл об этом?

Answer 3

[skokovrov]

сайт тематики лестничные ограждения, помогите отклеить протокол hhtps