1. Пусть это будет специфической ситуацией. Мобильные пользователи на этой веб-странице не нужны.
2. Есть способ лучше?
3. Редкий поисковый бот включает в строке юзер-агента "Modil". А это и есть основной параметр блокировки. Без этого поискового бота я тоже обойдусь, хотя для него всегда можно сделать исключение.
4. Защита от скачивания ботами не нужна.
Впрочем, я уже успел найти подходящий вариант. В любом случае, спасибо за внимание к моему вопросу. ;)
Просто настроил и все. Поисковики без проблем переиндексировали все страницы. Думаю, что если бы я его неправильно настроил, то сайт бы просто не открывался. :)
Александр Денисов, вот с гуглом и есть процентов 30. У Яндекса получше.
Еще косвенный минус - стало мало трафика с Дзена. Я им написал про смену протокола и они переподключили ленту (просто поменяли протокол в адресе видимо), но почему то трафика почти не стало. ;-(
Во-первых, большое спасибо за то что вникли в мой вопрос. :)
Может быть я немного разверну ситуацию, а вы мне еще посоветуете?
На самом деле, я склоняюсь к запрету индексации старого раздела и удалению редиректов. Эти страницы не несут никакой пользы, это были краткие новостные заметки и были написаны еще до 2007 года. Потом я перешел на новый движок и оставил старый с этими вот страницами. Они были не очень качественные и еще и плодили дубли. Реальных пользователей на них уже много лет нет и быть не может.
Получается, что Яндекс видит на каких то сайтах ссылки на эти страницы и постоянно ходит на них смотреть. В итоге в истории обхода постоянно куча страниц с 404.
Единственно, жалко ссылки с крутых сайтов типа news.com.ru или ixbt.com, которые, наверное, давали вес моему сайту в целом. Вот для них я и делал 301 редирект.
Сейчас, при переходе на HTTPS Яндекс будет видеть несуществующие страницы, которые имеют глобальный редирект 301, а потом цель отдает 404, что мне тоже не нравится.
В общем, может просто закрыть разделы да и забыть про них?
Arman, ну работы видят 404 ошибку на оставшихся 1800 страницах, у которых нет 301 редиректа. Проще запретить весь раздел и они не будут туда стучаться.
2. Есть способ лучше?
3. Редкий поисковый бот включает в строке юзер-агента "Modil". А это и есть основной параметр блокировки. Без этого поискового бота я тоже обойдусь, хотя для него всегда можно сделать исключение.
4. Защита от скачивания ботами не нужна.
Впрочем, я уже успел найти подходящий вариант. В любом случае, спасибо за внимание к моему вопросу. ;)