Странное содержание robots в вордпрессе, такое нормально?

Question

[Антон Р.]

Недавно начал работать над SEO одного проекра на Wordpress и в файле robots.txt вижу только вот такое:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Это нормально что так мало директив? Кстати программа Screaming Frog SEO Spider почему то не сканирует страницы сайта.

Answer 1

[Сергей Арсентьев]

Disallow: /wp-admin/ - запретили индексирование админки
Allow: /wp-admin/admin-ajax.php - разрешили индексирование внутренних страниц, формирующихся через ajax

в целом все норм.
директив может быть больше, но тут уже все зависит от конкретного сайта.
обычно исключаются всякие служебные страницы или дубли текущего контента типа такого:

Disallow: /*?s=*
Disallow: /*?ad=*
Disallow: /cgi-bin
Disallow: */trackback
Disallow: */comments
Disallow: /tag
Disallow: */feed/* и т.п.

Answer 2

[Артем Золин]

Скорее всего это стандартный robots.txt, который создается с помощью фильтра robots_txt. Управлять им можно следующим образом

// Добавляем правила для файла robots.txt
add_filter( 'robots_txt', 'wpgen_robots_txt', 20, 2 );
function wpgen_robots_txt( $output, $public ) {

	$output .= "Disallow: /wp-json\n";

	return apply_filters( 'wpgen_robots_txt', $output, $public );
}