Я бы убрал из этого списка все) Серьезно, просто не допускайте, чтобы у вас в тексе были ссылки на поисковые запросы,
/cgi-bin/ сто лет не используется, в
/wp-admin/ робот не зайдет, а страница авторизации закрыта тегом noindex,
/xmlrpc.php это вообще недоступный файл с фронта, страниц авторов у вас нет, а если есть, зачем их закрывать, Openstat и UTM метки пусть индексирует, жалко что ли
И если уж вы собрались писать правила для robots, то для этого есть хук
robots_txt. Работает это так:
// Добавляем правила для файла robots.txt
add_filter( 'robots_txt', 'custom_robots_txt', 20, 2 );
function custom_robots_txt( $output, $public ) {
$output .= "Disallow: /search/\n";
$output .= "Disallow: /author/\n";
$output .= "Disallow: /users/\n";
return apply_filters( 'custom_robots_txt', $output, $public );
}
Простой