Как защитить rss от граберов, но при этом разрешить индексацию для Турбо-страниц Яндекса?

Question

[trambi]

Хочу в вебмастере яндекса подключить турбо-страницы через rss, но от граберов у меня закрыт rss-канал. Как бы сделать доступ к RSS только для турбо-страниц яндекса? Wordpress.

Answer 1

[igorux]

Robots.txt граберам не указ.
Нужно именно закрыть доступ, а не повесить табличку «Закрыто».

Как справедливо замечено выше, на уровне конфига сервера.
Например, для Апача добавить в каталог с фидом .htaccess с примерно таким содержанием:

SetEnvIf User-Agent YandexBot/3.0 welcome=1

Order Allow,Deny
Deny from all
Allow from env=welcome

И разрешить Яндексу индексацию в robots.

Answer 2

[d'Ivan]

При помощи User-Agent можно разрешить доступ к ресурсу только для избранных на уровне конфигурацией веб-сервера Apache .htaccess / Nginx.

Comments

[trambi]

Действительно, я что-то не додумался...

Так?

User-agent: Yandex
Allow: */feed
Allow: */rss