Есть ситуации, когда защищенный протокол https используется только для отдельных страниц на сайте (обычно это форма контактов, форма заказа и другие страницы, на которых пользователи могут вводить личные данные).
Для закрытия от индексации таких страниц делают отдельную версию инструкций, которая будет доступна по защищенному протоколу.
Создают файл robots_ssl.txt (можно использовать любое название файла) и настраивают параметры сервера таким образом, чтобы при запросе
httрs://domain.com/robots.txt открывался файл robots_ssl.txt
Для этого в .htaccess прописывают нужные параметры:
RewriteEngine on
Options +FollowSymlinks
RewriteCond %{SERVER_PORT} ^443$
RewriteRule ^robots.txt$ robots_ssl.txt
443 порт используется для защищенных соединений, вместо стандартного 80.
