Александр Сисюкин

RewriteEngine on
RewriteCond %{HTTP_HOST} ^example.com [NC]
RewriteRule ^(.*)$ https://www.example.com$1 [L]
RewriteCond %{SERVER_PORT} ^443$
RewriteRule .* http://%{SERVER_NAME}%{REQUEST_URI} [R,L]

Посмотрите в php коде они могли и там что то сделать ...

Iframe , curl и дт и тп ... я бы тупо скопирывал его себе wget -k -l 10 -r site.ru и уже редактировал как хотел . Обернул бы в ob_serv и там вертел его как хотел.

Единственное решение которое мне в голову лезет это передавать get параметр и по его присутствию выводить строку в хедере страницы
header("Location:$URL"); // нету такого кода чтобы бот понял что страница выпала с индекса header("Location:$URL" , true , ваш код ); /// до одного места в этой ситуации
если же не хочется портить url то при редиректе объявите константу потом с помощью нее выведите туже строку и переопределите константу после выводи что бы не было проблем.

Robots.txt в большинстве случаев не панацея для закрытия контента так как к примеру на другом сайте могут разместить ссылку на ваш контент и бот благополучно проиндексирует вашу страницу. мета тег будет выходом.