Как сделать правильный robots.txt для новостного сайта?

Question

[gsdgdfgf]

Здравствуйте! запускаю новостной сайт, делаю robots, как правильно сделать его для новостного сайта? пока что настроил вот так:

User-agent: *
Allow: /wp-admin/admin-ajax.php
Allow: /*/uploads/
Disallow: /wp-admin/
Disallow: /cgi-bin/
Disallow: /?/
Disallow: /wp-/
Disallow: /wp/
Disallow: /*?s=/
Disallow: /*&s=/
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: /xmlrpc.php
Disallow: /*/trackback/
Disallow: /*/embed/
Disallow: /*utm*=/
Disallow: /*openstat=/

Sitemap: https://mysite.com/sitemap.xml
Sitemap: https://mysite.com/sitemap.rss

Что добавить? Что убрать?

Comments

[gsdgdfgf]

Если в гугле написать: mysite.com
то там выходит:
mysite.com (основной домен)
Страница About
Страница All news
Страница Contact
Страница Opinion
Страница Cookie Policy
Страница Privacy Policy
Одна из статей
Страница Advertise

Можно ли их как то скрыть? чтобы они не индексировались. глянул, у других новостных сайтов такого нет

Answer 1

[Икотий Айтишевич]

https://wp-kama.ru/id_803/pishem-pravilnyiy-robots...

Answer 2

[Артем Золин]

Я бы убрал из этого списка все) Серьезно, просто не допускайте, чтобы у вас в тексе были ссылки на поисковые запросы, /cgi-bin/ сто лет не используется, в /wp-admin/ робот не зайдет, а страница авторизации закрыта тегом noindex, /xmlrpc.php это вообще недоступный файл с фронта, страниц авторов у вас нет, а если есть, зачем их закрывать, Openstat и UTM метки пусть индексирует, жалко что ли

И если уж вы собрались писать правила для robots, то для этого есть хук robots_txt. Работает это так:

// Добавляем правила для файла robots.txt
add_filter( 'robots_txt', 'custom_robots_txt', 20, 2 );
function custom_robots_txt( $output, $public ) {

	$output .= "Disallow: /search/\n";
	$output .= "Disallow: /author/\n";
	$output .= "Disallow: /users/\n";
	
	return apply_filters( 'custom_robots_txt', $output, $public );
}

Comments

[gsdgdfgf]

Здравствуйте, не совсем понимаю зачем нужен хук? редактирую robots через all in one seo

[gsdgdfgf]

Вы написали что /wp-admin не индексируется, а если у меня админ страница открывается не mysite.com/wp-admin а с кастомным названием? то есть, к примеру: mysite.com/pLy8_Z, то она тоже закрыта от индексации?

[Артем Золин]

gsdgdfgf, подозреваю, что all in one seo тоже редактирует robots через этот хук

[gsdgdfgf]

Артем Золин, а что по поводу админки с кастомным названием?

[gsdgdfgf]

кстати, если в гугле написать mysite.com, то кроме страниц сайта и статей, показывается и файл robots.txt
хм...

[gsdgdfgf]

помогите, пожалуйста, составить правильный robots для новостного сайта, а то в дизайне я силён, а вот в seo полный ноль

[Артем Золин]

gsdgdfgf, без понятия как у вас работает кастомная админка. Решайте проблемы по мере их поступления — как начнет индексироваться какой-то мусор у вас на сайте, тогда и закрывайте

[gsdgdfgf]

Артем Золин, я имею ввиду что админка то вордпресовская, но адрес у неё не wp-admin а pLy8_Z.
Поменял через плагин, чтобы умники брут форсом не напрягали сервер