Оптимальный robot.txt для Wordpress под Google и Yandex?

Question

[Nostromo]

Добрый день !

Нужен оптимальный robot.txt для поисковых систем Google и Yandex, в сети много информации, поэтому не могу выбрать чей то конкретный вариант, так как много споров в комментариях.

Выложите пожалуйста безопасный и действующий, опробованный вариант robot.txt

Спасибо за внимание !

Answer 1

[Sue Bass]

The file format of robots.txt will remain the same. You should check below resource for to create robots.txt for WordPress for Google and Yandex web crawlers:

www.robotstxt.org/robotstxt.html
https://yandex.com/support/webmaster/controlling-r...
https://support.google.com/webmasters/answer/60625...

Comments

[Nostromo]

Вы бы мне еще на хинди написали и ссылки на английские страницы, вам нравится квесты для людей устраивать ))

[Sue Bass]

Nostromo, Didn't get you...

Answer 2

[Barmunk]

Нужен оптимальный robot.txt для поисковых систем Google и Yandex, в сети много информации, поэтому не могу выбрать чей то конкретный вариант, так как много споров в комментариях.

Хотите чтобы и тут были такие же споры? =) Я использую стандартный robots.txt, а запрещаю уже через

<meta name="robots" content="noindex,follow"/>

Рулить этим всем мне отлично помогает Yoast SEO

Answer 3

[Bender_Render]

Использую этот.
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */page/*
Disallow: /xmlrpc.php
Disallow: /wp-json/
Disallow: */feed
Disallow: */author

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

host: site.ru

Sitemap: site.ru/sitemap.xml

Comments

[Nostromo]

У меня как раз проблемы с индексацией изображений, как индексирует кстати ?

[Bender_Render]

Nostromo: нормально индексируется, тут больше к картинкам вопрос чем к карте сайта, с паблика которые не особо шустро лезут в индекс.