trillhd
@trillhd

Robots.txt для Wordpress 4.7.5?

Добрый день.
Может кто-нибудь поделиться файлом robots.txt для wordpress 4.7.5 ?
Хотелось бы знать, что стоить закрыть от пауков.
Спасибо!
  • Вопрос задан
  • 254 просмотра
Решения вопроса 1
XXX
@XXX
Решение где-то рядом
trillhd Посмотрите статью Правильный файл robots.txt для WordPress, автор ее месяц назад обновил.
Ответ написан
Пригласить эксперта
Ответы на вопрос 3
@purplesky
Вариант, который я юзаю на всех своих проектах. Закрывать от индекса лучше с помощью meta robots nofollow, noindex.
User-Agent: *
Disallow: /wp-
Disallow: /?
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml
Ответ написан
secsite
@secsite
Безопасные и быстрые сайты
Хотелось бы знать, что стоить закрыть от пауков.

Только то, что САМ посчитаешь нужным анализируя логи ТВОЕМУ сайту.

Ибо роботс не для движка, а для сайта.
Ответ написан
@amaduha
По поводу вордпресса, многое зависит от того какие плагины у вас включены, как организованы комментарии на сайте и так далее и тому подобное, но в принципе для того, что бы понять как следует описать robots.txt для своего сайта на вордпрессе можно почитать эту статью, все довольно доходчиво на мой взгляд
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
01 дек. 2020, в 23:18
80000 руб./за проект
01 дек. 2020, в 22:41
60000 руб./за проект
01 дек. 2020, в 21:24
500 руб./за проект