@slonikkk

Правильный robots.txt для вордпренсм?

Добрый день.

НЕ когда не думал что найти роботс для вордпренс такая проблема. Перерыл много блогов и везде все разное, познаний в этой области. Кто может поделиться файлом роботс, который реально работает? Мне нужно закрыть все лишнее,оставить только страницы,записи, и изображения.
Сделал 301-редиректов.
Но еще думаю в файле робот все закрыть, но что именно?

сам htaccess
RewriteCond %{QUERY_STRING} ^replytocom= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule (.+)/feed /$1 [R=301,L]
RewriteRule (.+)/attachment /$1 [R=301,L]
RewriteRule (.+)/comment-page /$1 [R=301,L]
RewriteRule (.+)/comments /$1 [R=301,L]
RewriteRule (.+)/trackback /$1 [R=301,L]
RewriteCond %{QUERY_STRING} ^attachment_id= [NC]
RewriteRule (.*) $1? [R=301,L]

Пока роботс выглядит так:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Host: сайт
Sitemap: сайт/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Чем еще дополнить робот?
  • Вопрос задан
  • 534 просмотра
Пригласить эксперта
Ответы на вопрос 1
dadster
@dadster
учить инглиш тут - https://t.me/langhacks
а вот как делают небезызвестные Yoast.com:

User-Agent: *
Disallow: /out/

Простенько и со вкусом)
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы