Как заблокировать индексацию PDF?

Question

[AlexandrMa]

На сайте 1000 страниц. Около 500 DPF файлов. Нужно скрыть от индексации эти файлы, потому что они не уникальные и вообще лишние, мешают раскрутке самих страниц. Нужна только возможность их скачать пользователю. В файле robots внесли записи

Disallow: /pdf/
Disallow: *.pdf

для всех ботов и конкретно для Гугла и Яндекса.

В итоге Яндекс заблокировал, Гугл продолжает упорно индексировать. Прошел год, ситуация не поменялась. Гугл пишет "Проиндексировано, несмотря на блокировку в файле robots.txt"

Есть ли смысл перенести файлы на поддомен с редиректом?

Answer 1

[Павел Сайк]

Лучший вариант, когда конечный документ отдает заголовок noindex. Например, добавить фрагмент в корневой файл .htaccess сайта или файл httpd.conf:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

Тогда действовать надо так
1. Не запрещать индексировать PDF - убрать инструкции из robots.txt
2. Отдавать заголовок, как написал выше
3. К ссылкам на документы добавить rel="nofollow"

И тогда все документы выпадут из индекса

Answer 2

[Артем Гвоздев]

самый простой вариант, сделать базовую аутентификацию на урлы с pdf