@Dextore23

Является ли это ошибкой в robots.txt?

Как правильно заполняется robots.txt?
Ранее читал, что логика должна быть такой
Сначала мы пишем что нельзя ботом сканировать, а потом разрешаем все что можно

User-agent: *
Disallow: /cabinet/
Disallow: /cabinet/register/
Disallow: /cabinet/forget/
Disallow: /search/
Allow: /

User-agent: Yandex
Disallow: /cabinet/
Disallow: /cabinet/register/
Disallow: /cabinet/forget/
Disallow: /search/
Allow: /

Host: site.com 
Sitemap: https://site.com /sitemap.xml


Правильно ли у меня вышло или нет? Почему задаю этот вопрос, потому что вижу что у других сайтов есть только
Disallow:
Disallow:
Disallow:
и в конце нет Allow: /

Разъясните пожалуйста
  • Вопрос задан
  • 37 просмотров
Пригласить эксперта
Ответы на вопрос 1
Royamov
@Royamov
seoportal.net
Явное указание Allow: / равносильно его отсутствию (по умолчанию подразумевается разрешение индексации всего сайта), поэтому и не пишут :)
Правильный robots.txt в Вашем случае будет таким:
User-agent: *
Disallow: /cabinet/
Disallow: /search/
Sitemap: https://site.com/sitemap.xml

Host - устаревшая директива (к тому же её надо указывать с https, если главное зеркало доступно по защищенному протоколу), остальное просто лишнее.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
18 февр. 2020, в 23:53
8000 руб./за проект
18 февр. 2020, в 22:14
10000 руб./за проект