Задать вопрос
Ответы пользователя по тегу robots.txt
  • Удалил префикс с robots.txt в консоли яндекс вебмастер, чего ожидать?

    pavel_ugryumov
    @pavel_ugryumov
    Руководитель проекта GOadvance, маркетолог
    Вот этот работает на сайте моего маркетингового агентства:

    User-agent: Yandex
    Disallow: /wp-json/
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /search
    Disallow: */trackback/
    Disallow: */feed
    Disallow: */comments/
    Disallow: */comment
    Disallow: */attachment/*
    Disallow: */print/
    Disallow: *?print=*
    Disallow: */embed*
    Allow: /wp-content/uploads/

    Host: адрес твоего главного зеркала сайта

    User-agent: Googlebot
    Disallow: /wp-json/
    Disallow: /wp-admin
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /search
    Disallow: */trackback/
    Disallow: */feed
    Disallow: */comments/
    Disallow: */comment
    Disallow: */attachment/*
    Disallow: */print/
    Disallow: *?print=*
    Disallow: */embed*
    Allow: /wp-content/uploads/

    User-agent: Mail.Ru
    Disallow: /wp-json/
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /search
    Disallow: */trackback/
    Disallow: */feed
    Disallow: */comments/
    Disallow: */comment
    Disallow: */attachment/*
    Disallow: */print/
    Disallow: *?print=*
    Disallow: */embed*
    Allow: /wp-content/uploads/

    User-agent: *
    Disallow: /wp-json/
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /search
    Disallow: */trackback/
    Disallow: */feed
    Disallow: */comments/
    Disallow: */comment
    Disallow: */attachment/*
    Disallow: */print/
    Disallow: *?print=*
    Disallow: */embed*
    Allow: /wp-content/uploads/

    User-agent: Googlebot-Image
    Disallow: /wp-json/
    Allow: /wp-content/uploads/

    User-agent: YandexImages
    Disallow: /wp-json/
    Allow: /wp-content/uploads/

    User-agent: Mediapartners-Google
    Disallow:

    User-Agent: YaDirectBot
    Disallow:

    Sitemap: https://твой_сайт/sitemap.xml

    Эти правила работают стабильно. Плюс свои добавишь на логин, регистрацию и тп.

    А для СЕО установи плагин: yoast seo и будет тебе счастье. Настройки там интуитивно понятные.

    Кстати, вместо пагинации страниц лучше сделать аякс подгрузку постов.
    Ответ написан
    Комментировать