Robots.txt для Wordpress 4.7.5?

Question

[trillhd]

Добрый день.
Может кто-нибудь поделиться файлом robots.txt для wordpress 4.7.5 ?
Хотелось бы знать, что стоить закрыть от пауков.
Спасибо!

Answer 1

[Natan]

trillhd Посмотрите статью Правильный файл robots.txt для WordPress, автор ее месяц назад обновил.

Comments

[Site Developer]

тянут и тянут этот хлам..

Вот нафига
Disallow: /cgi-bin ?
Что там индексировать? Зачем СООБЩАТЬ ботам об этом каталоге?

А
Disallow: *?s=? если в теме<meta name='robots' content='noindex,follow' />
Чтобы показать возможности как можно нагрузить сайт? :)

И остальное очень индивидуально и зависит от многих вещей конкретного сайта.

Answer 2

[Фёдор]

Вариант, который я юзаю на всех своих проектах. Закрывать от индекса лучше с помощью meta robots nofollow, noindex.
User-Agent: *
Disallow: /wp-
Disallow: /?
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml

Comments

[Site Developer]

Я тебе поздравляю - ты закрыл скрипты, стили и картинки.

[Фёдор]

Site Developer: если сможешь обосновать пользу от открытия css и js для индекса - буду рад. с картинок траф не интересен - не та тематика.

[Site Developer]

Фёдор: это вообще-то требования ПС :) Нужно ж знать хотя бы основы, прежде чем СЕО заниматься.

И да

. с картинок траф не интересен - не та тематика.

Ты может и можешь забить на доп халявный траффик но нафига ты рекомендуешь это другим?

Answer 3

[Site Developer]

Хотелось бы знать, что стоить закрыть от пауков.

Только то, что САМ посчитаешь нужным анализируя логи ТВОЕМУ сайту.

Ибо роботс не для движка, а для сайта.

Answer 4

[sveta_wp]

Я воспользовалась этой инструкцией https://dampi.ru/pravilnyiy-robots-txt-dlya-sayta-...
Единственное, автор утверждает о том, что если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете "Исключенные страницы" появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Вот и не знаю кому верить... Но на всякий случай все-таки закрыла, вроде все нормально