Как проверить ошибки в файле Robot.txt?

Question

[Андрей]

Посмотрите, пожалуйста, скриншот. Нужно указывать все поисковые системы, или как там это правильно называется, в User-agent: * ? Yandex, Googlebot
Пока не обновил файл robot.txt, боюсь испортить. Нет ничего лишнего или может что забыл? Буду очень благодарен. Sitemap нужно все 5 указывать? Одна ссылка ведет на все 5



Исправил, так лучше? Ничего лишнего?
User-agent: *
Allow: /
Disallow: /wp-admin
Disallow: */feed
Disallow: /cgi-bin
Disallow: /xmlrpc.php?rsd
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /category/
Disallow: /author/
Disallow: /*?*
Disallow: /tag
Disallow: /js/
Disallow: /20*/*
Sitemap: andreyalexandrov.com/sitemap_index.xml
Host: andreyalexandrov.com

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Answer 1

[Павел Тупиков]

добавьте в самый конец директиву Host:: http://andreyalexandrov.com
С sitemap все нормально

и еще возможно вот это
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /*?*
Disallow: /tag

ну и в самый конец спец-правила

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Comments

[Андрей]

2amedia спасибо!) А почему Disallow: /tag ? Тэги не стоит индексировать? Спецправила "User-agent: Googlebot-Image" включают индексацию картинок? По-умолчанию они не индексируются? Буду очень благодарен за информацию)

[Андрей]

2amedia а как правильно прописать YandexBot и других? Нужно?

[Андрей]

2amedia Получилось вот так. Норм, ничего лишнего? Большое спасибо за помощь!

User-agent: *
Allow: /
Disallow: /wp-admin
Disallow: */feed
Disallow: /cgi-bin
Disallow: /xmlrpc.php?rsd
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /category/
Disallow: /author/
Disallow: /*?*
Disallow: /tag
Sitemap: andreyalexandrov.com/sitemap_index.xml
Host: andreyalexandrov.com

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Answer 2

[RETAND]

Имеем такой robots.txt для wordpress, индексирует отлично:

User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /*?*
Disallow: /comment-page-*
Disallow: /*/?replytocom=*
Disallow: /tag
Disallow: /category/
Disallow: /author/
Disallow: /20*/*
Disallow: /page/*

User-agent: Yandex
Allow: /wp-content/uploads
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: /*?*
Disallow: */feed
Disallow: /comment-page-*
Disallow: /*/?replytocom=*
Disallow: /tag
Disallow: /category/
Disallow: /author/
Disallow: /js/
Disallow: /20*/*
Disallow: /page/*
Host: www.famreal.com

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Sitemap: www.famreal.com/sitemap.xml

Comments

[Андрей]

RETAND спасибо!) А зачем Disallow: /category/ ?

[Андрей]

RETAND Подскажите, эти для чего?
Disallow: /js/
Disallow: /20*/*

[RETAND]

Андрей: Обычно (по слухам) поисковики не любят индексировать категории. И чтобы не было дублей, мы их исключаем. По поводу /js/ - скрипты тоже не имеет смысла индексировать. По поводу /20*/* это такая же категория (архивы за 20.. год) и в ней как раз содержатся те же страницы, что и в категориях, получается так называемые дубли страниц.

[RETAND]

Андрей: Так же не стоит индексировать теги, так как там тоже дубли уже существующих страниц.

[Андрей]

RETAND: большущее спасибо за информацию! Успехов в своих проектах!)

[RETAND]

Андрей: Незачто)... И вам успехов!

[Андрей]

RETAND: кстати, подскажите, пожалуйста. Нужно все системы прописывать? User-agent: Yandex и Google?

[RETAND]

Андрей: Хватит Яндекса и Гугла, некоторые даже запрещяют остальные к индексации (типа Бинг'а). А Яндекс и Гугл прописываются для чего: у них немного разные стандарты для роботс'а.

[Андрей]

RETAND: ок, спасибо! В Вашем примере User-agent: * и User-agent: Yandex этого достаточно?

[RETAND]

Андрей: ага, User-agent: Yandex - это для Яндекса (у него специфика отличается от всех), а это User-agent: * для всех остальных.

[Андрей]

RETAND: всё понятно! Спасибо!))

[RETAND]

Андрей: Незачто!)

[Андрей]

RETAND: я к Вам за консультацией)) Как правильно указывать сайт в директиве host в robot.txt? С www или без?

[Андрей]

RETAND: получилось вот так, ничего лишнего, подскажите, пожалуйста

User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-admin
Disallow: */feed
Disallow: /cgi-bin
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /category/
Disallow: /author/
Disallow: /*?*
Disallow: /tag
Disallow: /js/
Disallow: /20*/*
Disallow: /comment-page-*
Disallow: /*/?replytocom=*
Disallow: /page/*

User-agent: Yandex
Allow: /wp-content/uploads
Disallow: /wp-admin
Disallow: */feed
Disallow: /cgi-bin
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /category/
Disallow: /author/
Disallow: /*?*
Disallow: /tag
Disallow: /js/
Disallow: /20*/*
Disallow: /comment-page-*
Disallow: /*/?replytocom=*
Disallow: /page/*
Host: http://andreyalexandrov.com

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Sitemap: http://andreyalexandrov.com/sitemap_index.xml

[RETAND]

Андрей: "Как правильно указывать сайт в директиве host в robot.txt? С www или без?" В вашем случае без www, т.к. с www и без это разные сайты с точки зрения поисковых систем. Ваш, насколько я вижу, без www. Про ваш роботс, на взгляд, всё в норме. Советую проверить его здесь https://webmaster.yandex.ru/robots.xml . Вводите нужные вам странице в поле "Список URL добавить" и проверяете, доступны ли они для индексирования.

[Андрей]

RETAND: спасибо огромное! Хорошего дня!)

[RETAND]

Андрей: И вам хорошего дня)!

Answer 3

[ramjke]

Disallow /wp-admin уберите слеш в конце
Sitemap кушает только один параметр, бот кушает только один Sitemap. Склейте пять документов в один или сделайте один индекс-файл по нескольким sitemap.

Comments

[Павел Тупиков]

не пишите чушь, бот нормально возьмет этот сайтмап и пойдет по всем остальным

[ramjke]

2amedia: Мог ошибиться в переводе с английского.
Оригинал
www.sitemaps.org/faq.html

[Андрей]

ramjke благодарю)

Answer 4

[Egor Nedbailo]

Нужно прописать отдельно для Яндекса (добавить директиву Host:), Гугла и для всех.

Comments

[Андрей]

Egor Nedbailo ок, спасибо))