Какой будет правильный Robots.txt для Wordpress (привел пример структуры)?

Question

[ProgerMir]

Здравствуйте. Читал ответы из поиска, они написаны несколько лет назад и некоторые правила там явно неактуальны (host, например). Структура корня выглядит так:

cgi-bin
wp-admin
wp-content
wp-includes
.htaccess
index.php
license.txt
readme.html
wp-activate.php
wp-blog-header.php
wp-comments-post.php
wp-config-sample.php
wp-config.php
wp-cron.php
wp-links-opml.php
wp-load.php
wp-login.php
wp-mail.php
wp-settings.php
wp-signup.php
wp-trackback.php
xmlrpc.php

Подойдет ли ниже составленный robots.txt (и такие же правила если дублировать ниже для User-Agent: Yandex, для Гугла вроде необязательно):

User-agent: *
Disallow: /cgi-bin # Стандартная папка на хостинге.
Disallow: /wp-admin/ # Закрываем админку.
Allow: /wp-admin/admin-ajax.php # Откроем аякс.
Disallow: /? # Все параметры запроса на главной.
Disallow: *?s= # Поиск.
Disallow: *&s= # Поиск.
Disallow: /search # Поиск.
Disallow: /author/ # Архив автора.
Disallow: */embed$ # Все встраивания.
Disallow: */xmlrpc.php # Файл WordPress API
Disallow: *utm*= # Ссылки с utm-метками
Disallow: *openstat= # Ссылки с метками openstat

Sitemap: example.com/sitemap.xml
Sitemap: example.com/sitemap.xml.gz

Comments

[Refguser]

Роботс делается не для движка, а для сайта.
Когда ты это поймёшь - всё станет на свои смета.

А вот эту хрень - удали. Там половина бесполезное, половина вредное.

ВП сам сгенерит правильный роботс.

[ProgerMir]

Проверил роботс от движка без плагинов, генерит:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.ru/wp-sitemap.xml

Почти все другие плагины генерят то же, только пути отличаются.

У Yoast:
User-agent: *
Disallow:
Sitemap: https://site.ru/sitemap_index.xml

Отличия есть. Какой вариант лучше? И какой плагин лучше?

Answer 1

[Пума Тайланд]

Для Яндекса дублировать не нужно, User-agent: * его уже покрывает. Отдельный блок с User-agent: Yandex нужен только для Clean-param (через него удобнее выкидывать UTM из индекса, чем через Disallow).

И главное: Sitemap: должен быть абсолютным URL с протоколом: https://example.com/sitemap.xml. Без https:// некорректно обрабатывается.

В остальном всё ок.

Comments

[Refguser]

В остальном всё ок.

Мусор там вредный.

Answer 2

[Виктор Петров]

Коллеги уже дали хорошие ответы. Добавлю немного по логике:
а) Надо убедиться, что поисковым роботам доступны служебные файлы, отвечающие за доступность контента: css, js, шрифты. Убедитесь, что в запрещённых для сканирования папках таких файлов нет, или внесены настройки, разрешающие доступ к этим файлам. Если этого не сделать, сайт может быть признан неадаптированным для мобильных устройств и потерять в ранжировании. Ну, бывает что и часть контента может быть недоступной из-за ошибок с доступом к JS и CSS. Проверяется это достаточно просто с помощью того же Screaming Frog SEO Spider.
б) robots.txt - это в основном про сканирование, а не управление индексированием. Это разные процессы, хотя и пересекающиеся. Здесь просто список директив, управляющим доступом к ресурсам сайта.

Answer 3

[Илья Горбачев]

Здравствуйте. Закрывать страницы с параметрами "?" в URL (включая UTM-метки) это плохая идея, так показатели страниц с параметрами не будут подклеиваться к основным страницам.

Хорошей идеей будет настроить rel=canonical и составить XML карту сайта с корректными версиями URL, это позволит избежать индексации страниц с параметрами и "подклеить" их к основным версиям страниц (без параметров). Если сделаете это, то robots.txt получится следующий:

User-agent: *
Disallow: /cgi-bin # Стандартная папка на хостинге.
Disallow: /wp-admin/ # Закрываем админку.
Allow: /wp-admin/admin-ajax.php # Откроем аякс.
Disallow: *?s= # Поиск.
Disallow: *&s= # Поиск.
Disallow: /search # Поиск.
Disallow: /author/ # Архив автора.
Disallow: */embed$ # Все встраивания.
Disallow: */xmlrpc.php # Файл WordPress API

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap.xml.gz

Также можно сгенерировать Clean-Param (его учитывает Яндекс) и включить его в конце файла robots.txt, после директив Sitemap.

Answer 4

[oexce]

универсального «правильного» robots.txt для WordPress нет, всё зависит от структуры сайта и SEO-задач. в вашем примере основные правила корректны (/wp-admin/, admin-ajax.php, поиск, sitemap). однако Disallow: /? лучше убрать, так как он может блокировать полезные URL с параметрами. также нет смысла закрывать wp-content и wp-includes, поскольку поисковикам нужен доступ к CSS, JS и изображениям. правила для utm и openstat допустимы, но современные поисковые системы обычно сами корректно обрабатывают такие параметры. для большинства сайтов достаточно минимального robots.txt с закрытием админки, страниц поиска и указанием sitemap.