Как в robots.txt открыть индексацию папки?

Question

[Da ta]

Сайт имеет русскую и английскую версию
В клорне страницы ru
В папке en/ страницы на английском
Движка нет, гогый html + css

Затрудняюсь с указанием в фапйле robots.txt правильных значений для индексации всего

User-agent: *
Disallow: 
Host: sitet.com
Sitemap: https://site/sitemap.xml

Answer 1

[Da ta]

тестировал папку английской части смайта и выдало такую картину

Answer 2

[archelon]

уточните, что именно вы хотите разрешить, а что запретить.
сейчас в коде ошибка:
Disallow:
после двоеточия следует указать, что именно закрыто от индексации

host — устаревшая директива, не поддерживается.
это не ошибка, просто она не нужна

Comments

[Da ta]

нужно открыть папку en/ для индексирования.
остальные папки также установить открытыми для индексирования.

[archelon]

если все должно индексироваться, то просто уберите robots.txt
если все-таки что-то нужно запретить, то пропишите директиву disallow непосредственно для этой папки.
например:

User-agent: *
Disallow: /js/
Disallow: /css/
Disallow: /fonts/
Sitemap: https://site/sitemap.xml

все разрешено, запрещена индексация только указанных директорий

или:

User-agent: *
Disallow: /
Allow: /index.html
Allow: /en/index.html
Sitemap: https://site/sitemap.xml

Все запрещено, кроме того, что разрешено

[archelon]

примеры
https://canwas.ru/blog/proekty/30-primerov-robots-txt/

Answer 3

[Page-Audit.ru]

Для индексации всего:

User-agent: *
Allow: /