Ответы пользователя по тегу robots.txt
  • Как закрыть от индексации любой адрес с определенной страницы?

    sdavlyatov
    @sdavlyatov
    Альтруист
    Все правильно с "?"
    А вот с пейджингом придеться потрудиться:
    Если закрыть от индекса страницы пагинации, то как робот узнает что у вас на второй странице (также не попадет в индекс товар) и сколько вообще товаров в этой категории, а это ведь является фактором ранжирования - сколько товаров вы предлагаете 10 или 150.
    Делать с умом:
    1. Для Яндекса - пропишите атрибут rel="canonical" на всех страницах пагинация на первую страницу, кроме первой, а также настройте редирект с первой страницы на саму категорию (во избежания дублей)
    2. Для Google атрибут rel="canonical" подходит если у вас есть страница со всем товаром этой категории туда и проставляете, тогда нужно закрыть от индекса через роботс пагинацию. РЕКОМЕНДУЮ - Идеальный вариант для Google (сочетается с Яндексом если выполнить пункт 1). Прописать второстепенные атрибуты (читать тут https://support.google.com/webmasters/answer/16637... - Данный вариант позволит сформировать общую сущность всей цепочки страниц как один массив, что отдаст весь вес на первую страницу, и повысит позиции сайта по категории.
    Пару апдейтов и страницы пагинации вылетят из поиска Я и G, а товар нет. Через 1-1,5 месяца Google сформирует сущность и позиция по категории вырастет.
    Удачи в SEO
    Ответ написан
  • Robots.txt и чпу, что делать?

    sdavlyatov
    @sdavlyatov
    Альтруист
    Если у вас из поиска есть трафик, то правильно будет, настроить 301 редирект. Потому что страницы с динамическим колом уже в индексе
    Ответ написан
    Комментировать
  • Как в robots.txt запретить к индексации дочерние страницы раздела?

    sdavlyatov
    @sdavlyatov
    Альтруист
    Делайте так:
    Allow: /клиенты/$ - Разрешает индексацию только такого урла
    Disallow: /клиенты/* - Запрещает индексацию все что после слеша
    Проверьте через панель вебмастеров Гугл и Яндекс
    Лайк, если помог)
    Ответ написан
    1 комментарий