trillhd
@trillhd

Robots.txt для Wordpress 4.7.5?

Добрый день.
Может кто-нибудь поделиться файлом robots.txt для wordpress 4.7.5 ?
Хотелось бы знать, что стоить закрыть от пауков.
Спасибо!
  • Вопрос задан
  • 258 просмотров
Решения вопроса 1
XXX
@XXX
Решение где-то рядом
trillhd Посмотрите статью Правильный файл robots.txt для WordPress, автор ее месяц назад обновил.
Ответ написан
Пригласить эксперта
Ответы на вопрос 3
@purplesky
Вариант, который я юзаю на всех своих проектах. Закрывать от индекса лучше с помощью meta robots nofollow, noindex.
User-Agent: *
Disallow: /wp-
Disallow: /?
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml
Ответ написан
secsite
@secsite
Безопасные и быстрые сайты
Хотелось бы знать, что стоить закрыть от пауков.

Только то, что САМ посчитаешь нужным анализируя логи ТВОЕМУ сайту.

Ибо роботс не для движка, а для сайта.
Ответ написан
Комментировать
@sveta_wp
Я воспользовалась этой инструкцией https://dampi.ru/pravilnyiy-robots-txt-dlya-sayta-...
Единственное, автор утверждает о том, что если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете "Исключенные страницы" появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Вот и не знаю кому верить... Но на всякий случай все-таки закрыла, вроде все нормально
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы