Лучший вариант, когда конечный документ отдает заголовок noindex. Например, добавить фрагмент в корневой файл .htaccess сайта или файл httpd.conf:
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
Тогда действовать надо так
1. Не запрещать индексировать PDF - убрать инструкции из robots.txt
2. Отдавать заголовок, как написал выше
3. К ссылкам на документы добавить rel="nofollow"
И тогда все документы выпадут из индекса