Нужно ли создавать файл robots.txt в WordPress?

Question

[Андрей Филимонов]

Здравствуйте,
перешёл на https, прочитал, что надо внести изменения в файле robots.txt, физически его не существует в корне но по адресу открывается
как тогда вносить изменения в robots.txt? как склеить адреса и редирект сделать? нужно ли создать этот файлик, и прописать что нужно или уж сразу какой-нибудь плагин ставить с прицелом на seo-оптимизацию в будущем через него?

Comments

[Андрей Филимонов]

установил YOAST SEO, везде пишут, что robots.txt изменяется в "Редакторе файлов", но нет такого пункта

[Денис Янчевский]

Зачем вносить изменения в robots.txt?

[Андрей Филимонов]

Денис Янчевский: чтобы склеить сайт http и https

[Денис Янчевский]

Андрей Филимонов: так оно и так склеится. Добавьте его просто в Яндекс.Вебмастере.

[Андрей Филимонов]

Денис Янчевский: ну куча людей рекомендуют прописать вручную главный сайт

[Денис Янчевский]

Андрей Филимонов: host? Ну создайте файл robots.txt в корне сайта и добавьте туда

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Host: https://site.ru

Answer 1

[Anton Denisenko]

Здравствуйте, нужен.

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
 
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: ваш_сайт.ru
 
Sitemap: http://ваш_сайт.ru /sitemap.xml.gz
Sitemap: http://ваш_сайт.ru /sitemap.xml

Comments

[Андрей Филимонов]

нужен плагин? yoast пойдёт?

[Site Developer]

сколько хлама.. читатель ГС детектед.

[Андрей Филимонов]

Site Developer: а что не так? уже видел такой образец

[Site Developer]

Всё не так. Начиная от непонимания сути роботса и работы пауков ПС. Но тостер - не место для разжёвывания и обучения.

[ommunist]

раньше такой конечно был нужен. А теперь достаточно попроще:

# This space intentionally left blank
# If you want to learn about why our robots.txt looks like this, read this post: https://yoa.st/robots-txt
User-Agent: *
Disallow: /suggest/?*

Answer 2

[Site Developer]

как тогда вносить изменения в robots.txt?

Можно создать его вручную. Можно с пом СЕО-плагинов.
Только не тяни в него всякий хлам с ГС.

редирект сделать

Редирект не нужен. Вообще.

Answer 3

[Николай Дмитриев]

Вот можно посмотреть robots.txt, который сейчас работает отлично https://wptuts.ru/robots-txt-dlja-wordpress/. Я настраиваю обычно с помощью Yoast SEO

Answer 4

[dampiru]

Вот в этой статье https://dampi.ru/pravilnyiy-robots-txt-dlya-sayta-... я как раз подробно описал все что надо сделать. Для любителей пихать в robots что попало: если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете "Исключенные страницы" появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Прежде чем писать и давать советы, сообщения GSC и ЯВебмастера пробовали анализировать?