@gsdgdfgf

Как сделать правильный robots.txt для новостного сайта?

Здравствуйте! запускаю новостной сайт, делаю robots, как правильно сделать его для новостного сайта? пока что настроил вот так:

User-agent: *
Allow: /wp-admin/admin-ajax.php
Allow: /*/uploads/
Disallow: /wp-admin/
Disallow: /cgi-bin/
Disallow: /?/
Disallow: /wp-/
Disallow: /wp/
Disallow: /*?s=/
Disallow: /*&s=/
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: /xmlrpc.php
Disallow: /*/trackback/
Disallow: /*/embed/
Disallow: /*utm*=/
Disallow: /*openstat=/

Sitemap: https://mysite.com/sitemap.xml
Sitemap: https://mysite.com/sitemap.rss


Что добавить? Что убрать?
  • Вопрос задан
  • 79 просмотров
Пригласить эксперта
Ответы на вопрос 3
visse
@visse
Hacker | Security Researcher | Red Team
Привет.

Allow: /wp-admin/admin-ajax.php
А вот это зачем?

Как сделать правильный robots.txt для новостного сайта?
"Правильным" он может быть только с точки зрения синтаксиса и общих правил, а не с точки зрения какой-то CMS. Далее уже всё индивидуально и должно настраиваться в соответствии с вашими потребностями.
Ответ написан
artzolin
@artzolin Куратор тега WordPress
php, WordPress разработка сайтов zolin.digital
Я бы убрал из этого списка все) Серьезно, просто не допускайте, чтобы у вас в тексе были ссылки на поисковые запросы, /cgi-bin/ сто лет не используется, в /wp-admin/ робот не зайдет, а страница авторизации закрыта тегом noindex, /xmlrpc.php это вообще недоступный файл с фронта, страниц авторов у вас нет, а если есть, зачем их закрывать, Openstat и UTM метки пусть индексирует, жалко что ли

И если уж вы собрались писать правила для robots, то для этого есть хук robots_txt. Работает это так:

// Добавляем правила для файла robots.txt
add_filter( 'robots_txt', 'custom_robots_txt', 20, 2 );
function custom_robots_txt( $output, $public ) {

	$output .= "Disallow: /search/\n";
	$output .= "Disallow: /author/\n";
	$output .= "Disallow: /users/\n";
	
	return apply_filters( 'custom_robots_txt', $output, $public );
}
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы