Является ли это ошибкой в robots.txt?

Question

[Dextore23]

Как правильно заполняется robots.txt?
Ранее читал, что логика должна быть такой
Сначала мы пишем что нельзя ботом сканировать, а потом разрешаем все что можно

User-agent: *
Disallow: /cabinet/
Disallow: /cabinet/register/
Disallow: /cabinet/forget/
Disallow: /search/
Allow: /

User-agent: Yandex
Disallow: /cabinet/
Disallow: /cabinet/register/
Disallow: /cabinet/forget/
Disallow: /search/
Allow: /

Host: site.com 
Sitemap: https://site.com /sitemap.xml

Правильно ли у меня вышло или нет? Почему задаю этот вопрос, потому что вижу что у других сайтов есть только
Disallow:
Disallow:
Disallow:
и в конце нет Allow: /

Разъясните пожалуйста

Answer 1

[Нотан Ройамов]

Явное указание Allow: / равносильно его отсутствию (по умолчанию подразумевается разрешение индексации всего сайта), поэтому и не пишут :)
Правильный robots.txt в Вашем случае будет таким:

User-agent: *
Disallow: /cabinet/
Disallow: /search/
Sitemap: https://site.com/sitemap.xml

Host - устаревшая директива (к тому же её надо указывать с https, если главное зеркало доступно по защищенному протоколу), остальное просто лишнее.