Не могу сейчас использовать мыло в таком формате: "webmaster@domain.com", так как мой домен заблочили и соответственно почта от домена также не работает. Использую почту на которую зареган домен.
Есть вероятность, что это из-за begetа (я тут домен регал), так как у них нет галочки, чтобы показывать данные whois, из-за этого я им писал, чтобы открыли данные. А открываются они у них странно, там либо в некоторых сервисах смотреть (не всех) или делать запрос whois -h whois.myorderbox.com ДОМЕН
Александр Овсянников, 1. У меня так и сделано, для яндекса свои правила, а для гугла другие.
2. Вот насчет некорректного отображения x robots tag спасибо, мне кажется, что у меня именно эта ситуация, так как тег отображается, но пишет, что разрешено индексировать.
3. Уже частично удалял, но такой объем, конечно, не быстро руками удалять.
Александр Овсянников, я проверяю в моменте страницу, гугл показывает актуальную дату и время проверки. Яндекс не подходит, так как я там заблокировал эти ссылки с помощью robots.txt, этот вариант там хорошо работает. Я проверял код ответа http страницы, в разных сервисах, показывает, что тег есть.
rel="canonical" - его вообще никак не использовать, он же на странице размещается, а у меня даже не страница, просто ссылка на скачивание, при переходе скачается файл и все.
Имеешь ввиду <meta name="robots" content="noindex"/>? Это не страница, а ссылка на скачивание файла, так что метатегом не запретить, только заголовок ответа http.