Задать вопрос

Как защитить rss от граберов, но при этом разрешить индексацию для Турбо-страниц Яндекса?

Хочу в вебмастере яндекса подключить турбо-страницы через rss, но от граберов у меня закрыт rss-канал. Как бы сделать доступ к RSS только для турбо-страниц яндекса? Wordpress.
  • Вопрос задан
  • 498 просмотров
Подписаться 3 Средний Комментировать
Решение пользователя igorux К ответам на вопрос (2)
igorux
@igorux
Robots.txt граберам не указ.
Нужно именно закрыть доступ, а не повесить табличку «Закрыто».

Как справедливо замечено выше, на уровне конфига сервера.
Например, для Апача добавить в каталог с фидом .htaccess с примерно таким содержанием:

SetEnvIf User-Agent YandexBot/3.0 welcome=1

Order Allow,Deny
Deny from all
Allow from env=welcome

И разрешить Яндексу индексацию в robots.
Ответ написан
Комментировать