Ответы пользователя по тегу robots.txt
  • Правила в robots.txt влияют на отображение баннеров и внешние ресурсы! Кто сталкивался и как решали?

    SEOBot
    @SEOBot
    SEO Noob
    Былобы лучше если вы выложили свой файл robots.txt чтобы мы не угадывали причины. Но а так , можно предположить :
    - у вас в файле robots.txt расписаны правила для разных ботов (не одно правило для ВСЕХ ботов, а отдельные правила для разных ботов)
    - у вас в файле для ботов (краулеров) которые отвечают за медийку стоит (вероятно) Disallow: / - что запрещает краулеру заходить на страницу, таким образом он не может проверить, удовлетворяет ли контент вашей страницы требованиям.
    Ответ написан
  • Почему нет robots.txt и sitemap.xml в директории сайта WordPress?

    SEOBot
    @SEOBot
    SEO Noob
    Отвечал на данный вопрос тут toster
    В Вашем случае Yoast генерирует и Robots.txt и вероятно sitemap.xml
    Если вы желаете внести изменения в данные файлы, вы можете создать файлы вручную в папке. У созданных файлов будет приоритет.
    1) За основу robots.txt вы можете взять содержимое вашсайт/robots.txt
    2) sitemap.xml можете сгенерировать вручную и прописать его в robots.txt и загрузить его в Webmaster Yandex/Google.
    Ответ написан
    1 комментарий
  • Редирект php, есть ли расширенные возможности?

    SEOBot
    @SEOBot
    SEO Noob
    Сергей, возможно у Вас есть ошибки в robots.txt
    Disallow: /goto/link.php*

    Попробуйте проверить результаты в разделе robots.txt в Google Seacrh Console (WMT)
    Он четко покажет срабатывает ли правило для исключение, и если срабатывает то подсвечивает какое.
    Ответ написан
    Комментировать
  • Как закрыть от роботов директорию, в которой лежат папки с сайтами?

    SEOBot
    @SEOBot
    SEO Noob
    robots.txt положить в корне сайта
    Дописать после основных параметров, перед sitemap и host (если они у вас есть)
    - если хотите индивидуально какието сайты отключить от индексации
    Disallow: /projects/site1/
    Disallow: /projects/site2/
    - если хотите всю папку запретить индексировать
    Disallow: /projects/
    Обратите внимание на наличие "/" в конце строки.

    Если проекты уже проиндексировались их можно удалить в GSC (Google Search Console)
    Google Index -> Remove URLs
    Ответ написан
    2 комментария
  • Что делать с дублями?

    SEOBot
    @SEOBot
    SEO Noob
    Если данные страницы в свое время были в индексе поисковых систем, вероятно на них кто-то мог ссылаться. Потому не стоит их просто выкидывать из поиска, стоит использовать их ссылочный профиль (некоторые покупают ссылки =) а вы хотите их просто в 404 пустить). Так же не стоит забывать о том, что URL которые уже ранжируются в поисковых системах на начальном этапе миграции, будут иметь позиции лучше чем страницы с новыми URL (если не использовать 301). Потому обязательно надо сделать редиректы, для того чтобы информация накопленная поисковыми системами о этих страницах не удалилась, а передалась на новую.
    Идеальным вариантом решения будет использование 301 редиректов в htaccess или nginx.conf со страниц с дублями (старых страниц) на один URL (новую страницу).
    Хорошая статья о 301 редиректах https://devaka.ru/articles/redirect-301
    Второй вариант, это использование старых страниц дублей с прописанным “rel canonical” указывающим на новую страницу. Данный вариант менее приемлем, но удобен (а иногда и единственный вариант) для некоторых проектов (например в случае если нет возможности править htaccess, либо используется ”кастомная” CMS).
    Пример и разъяснения по canonical https://devaka.ru/articles/link-rel-canonical
    И не забывайте использовать GSC (Google Search Console – по старому WMT). В нем можно посмотреть список страниц на которые были заходы и сайт выдал 404 ошибку (стоит добавить этот список в список редиректов если случайно пропустили).
    Ответ написан
    Комментировать