Задать вопрос
Ответы пользователя по тегу robots.txt
  • Как в robots.txt открыть индексацию папки?

    PageAuditRU
    @PageAuditRU
    Senior SEO Анализатор
    Для индексации всего:

    User-agent: *
    Allow: /
    Ответ написан
    Комментировать
  • Проиндексировано, несмотря на блокировку в файле robots.txt, как исправить?

    PageAuditRU
    @PageAuditRU
    Senior SEO Анализатор
    1. Задайтесь вопрос, а Вам это как мешает? На сколько критично, что wp-login проиндексирован как и у миллиарда других сайтов на WP. Если бы это было действительно проблемой, WP уже давно бы подсуетился и поправил head для этой страницы.
    2. Robots для Гугла не запрет, а лишь рекомендация. Поэтому через роботс эту проблему не решить.
    3. Я не WPшник, вероятно, есть способ поправить ситуацию с meta robots или meta goolebot, не ломая ядро, как это делается в других CMS.
    4. Погуглите тему HTTP-заголовка "X-Robots-Tag: googlebot: noindex".
    5. Ну, и самый извратный способ - отлавливать гуглобота (или сразу всех ботов) на уровне веб-сервера (например, по User-Agent или каким-то другим признакам, по подсетям), и возвращать им 403 при обращении к wp-login.php.
    Ответ написан
    Комментировать