Как сделать правильный robots.txt для новостного сайта?

Question

[gsdgdfgf]

Здравствуйте, разрабатываю для себя новостной сайт, уже всё готово, кроме robots.
Подскажите, пожалуйста, что убрать, а что добавить.
пока что роботс вот такой:

User-agent: *
Allow: /wp-admin/admin-ajax.php
Allow: /*/uploads/
Disallow: /wp-admin/
Disallow: /cgi-bin/
Disallow: /?/
Disallow: /wp-/
Disallow: /wp/
Disallow: /*?s=/
Disallow: /*&s=/
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: /xmlrpc.php
Disallow: /*/trackback/
Disallow: /*/embed/
Disallow: /*utm*=/
Disallow: /*openstat=/

Sitemap: https://mywebsite.com/sitemap.xml
Sitemap: https://mywebsite.com/sitemap.rss
Sitemap: https://mywebsite.com/sitemap-news.xml

Answer 1

[Светлана Козлова]

А разве можно три сайтмепа?

Comments

[Дмитрий Алёшин]

Да хоть 10 штук. Вот у Buzzfeed их как раз порядка 10: https://www.buzzfeed.com/robots.txt

Answer 2

[Сергей Арсентьев]

я бы убрал

Disallow: /?/
Disallow: /wp-/
Disallow: /wp/
Allow: /wp-admin/admin-ajax.php

а что добавить - это надо смотреть на живом сайте, какой там формат страниц и т.п.

Answer 3

[Дмитрий Алёшин]

Не существует правильного и неправильного robots.txt.
Он может быть минималистичным, как у yoast.com (посмотрите сами https://yoast.com/robots.txt), так и огромным, раздутым на десятки строк, как вы предложили. Почитайте, кстати, https://yoast.com/wordpress-robots-txt-example/ - и поймете, почему они оставили его таким урезанным.

Answer 4

[sputnickk]

я еще добавляю:

Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-content/plugins

чтобы инструмент проверки мобильности в гугл серч консоли не ругался что страница не оптимизирована под моб