Как писать адрес сайта в Host в Robots.txt?

Question

[colorkid]

Всем привет.
Как писать адрес сайта в Host в Robots.txt?
Сейчас у меня там такой тип записи www.site.ru, а может нужно выбрать https://site.ru? Что лучше

Answer 1

[aɐ]

Зависит от того как редирект стоит (если вообще стоит)
Если редирект с www.site.ru на site.ru, то хостом надо ставить site.ru и наоборот.

P.S. Если же у вас сайт открывается и по www.site.ru и site.ru и в адресной строке так и остается, то у вас дублируется сайт и надо сделать редирект, предварительно выбрав, что для вас приоритетнее и как поисковики проиндексировали уже.

Comments

[colorkid]

Спасибо. Исчерпывающе.

[colorkid]

единственный вопрос, а прописывать нужно с https:// или сразу домен?

[Фёдор]

colorkid: если https есть, то с

[colorkid]

благодарю