Этот вопрос закрыт для ответов, так как повторяет вопрос Как сделать правильный robots.txt для новостного сайта?
@gsdgdfgf

Как сделать правильный robots.txt для новостного сайта?

Здравствуйте, разрабатываю для себя новостной сайт, уже всё готово, кроме robots.
Подскажите, пожалуйста, что убрать, а что добавить.
пока что роботс вот такой:

User-agent: *
Allow: /wp-admin/admin-ajax.php
Allow: /*/uploads/
Disallow: /wp-admin/
Disallow: /cgi-bin/
Disallow: /?/
Disallow: /wp-/
Disallow: /wp/
Disallow: /*?s=/
Disallow: /*&s=/
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: /xmlrpc.php
Disallow: /*/trackback/
Disallow: /*/embed/
Disallow: /*utm*=/
Disallow: /*openstat=/

Sitemap: https://mywebsite.com/sitemap.xml
Sitemap: https://mywebsite.com/sitemap.rss
Sitemap: https://mywebsite.com/sitemap-news.xml
  • Вопрос задан
  • 60 просмотров
Пригласить эксперта
Ответы на вопрос 4
svob
@svob
Фрилансер, текстовик широкого профиля
А разве можно три сайтмепа?
Ответ написан
я бы убрал

Disallow: /?/
Disallow: /wp-/
Disallow: /wp/
Allow: /wp-admin/admin-ajax.php

а что добавить - это надо смотреть на живом сайте, какой там формат страниц и т.п.
Ответ написан
ArchitectOfRuin
@ArchitectOfRuin
WordPress-энтузиаст, многостаночник
Не существует правильного и неправильного robots.txt.
Он может быть минималистичным, как у yoast.com (посмотрите сами https://yoast.com/robots.txt), так и огромным, раздутым на десятки строк, как вы предложили. Почитайте, кстати, https://yoast.com/wordpress-robots-txt-example/ - и поймете, почему они оставили его таким урезанным.
Ответ написан
sputnickk
@sputnickk
я еще добавляю:

Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-content/plugins

чтобы инструмент проверки мобильности в гугл серч консоли не ругался что страница не оптимизирована под моб
Ответ написан
Ваш ответ на вопрос

Вопрос закрыт для ответов и комментариев

Потому что уже есть похожий вопрос.
Похожие вопросы