Артем Золин

Скорее всего это стандартный robots.txt, который создается с помощью фильтра robots_txt. Управлять им можно следующим образом

// Добавляем правила для файла robots.txt
add_filter( 'robots_txt', 'wpgen_robots_txt', 20, 2 );
function wpgen_robots_txt( $output, $public ) {

	$output .= "Disallow: /wp-json\n";

	return apply_filters( 'wpgen_robots_txt', $output, $public );
}

Я бы убрал из этого списка все) Серьезно, просто не допускайте, чтобы у вас в тексе были ссылки на поисковые запросы, /cgi-bin/ сто лет не используется, в /wp-admin/ робот не зайдет, а страница авторизации закрыта тегом noindex, /xmlrpc.php это вообще недоступный файл с фронта, страниц авторов у вас нет, а если есть, зачем их закрывать, Openstat и UTM метки пусть индексирует, жалко что ли

И если уж вы собрались писать правила для robots, то для этого есть хук robots_txt. Работает это так:

// Добавляем правила для файла robots.txt
add_filter( 'robots_txt', 'custom_robots_txt', 20, 2 );
function custom_robots_txt( $output, $public ) {

	$output .= "Disallow: /search/\n";
	$output .= "Disallow: /author/\n";
	$output .= "Disallow: /users/\n";
	
	return apply_filters( 'custom_robots_txt', $output, $public );
}