Александр Овсянников, 1. У меня так и сделано, для яндекса свои правила, а для гугла другие.
2. Вот насчет некорректного отображения x robots tag спасибо, мне кажется, что у меня именно эта ситуация, так как тег отображается, но пишет, что разрешено индексировать.
3. Уже частично удалял, но такой объем, конечно, не быстро руками удалять.
Александр Овсянников, я проверяю в моменте страницу, гугл показывает актуальную дату и время проверки. Яндекс не подходит, так как я там заблокировал эти ссылки с помощью robots.txt, этот вариант там хорошо работает. Я проверял код ответа http страницы, в разных сервисах, показывает, что тег есть.
rel="canonical" - его вообще никак не использовать, он же на странице размещается, а у меня даже не страница, просто ссылка на скачивание, при переходе скачается файл и все.
Имеешь ввиду <meta name="robots" content="noindex"/>? Это не страница, а ссылка на скачивание файла, так что метатегом не запретить, только заголовок ответа http.
2. Вот насчет некорректного отображения x robots tag спасибо, мне кажется, что у меня именно эта ситуация, так как тег отображается, но пишет, что разрешено индексировать.
3. Уже частично удалял, но такой объем, конечно, не быстро руками удалять.