• Параметр Clean-param в robots.txt. Как подружить Google и Yandex одновременно?

    JohnShip
    @JohnShip Автор вопроса
    Да я просто не люблю когда где-то выдаются ошибки. Я понимаю в общем-то, оно и с ошибками работает, но "не аккуратненько" (с) :)
    Но я решил путем отдачи разных robots.txt разным ботам. Точное техническое решение уже и не помню. То ли на уровне конфига www-сервера, то ли свел все в один php-файл и там создавал его уже. Но суть в том что каждый из поисковиков видит свой robots.txt и все довольны.
  • Параметр Clean-param в robots.txt. Как подружить Google и Yandex одновременно?

    JohnShip
    @JohnShip Автор вопроса
    svm,
    Если переводить на слова, то оно запрещает индексирование всех адресов, в которых присутствует слово "amp" после знака вопроса. И даже если там будут другие параметры.

    вот в том то и дело что ИМЕННО ТАК и НЕ хочется. хочется чтобы игнорировался именно этот параметр и только он. И потом, как я уже говорил, это не затронет уже проиндексированные страницы. Просто робот не будет их во время обхода брать, но если они уже есть, само наличие robots.txt не запрещает индексировать и кешировать страницы, этот файл просто дает указание роботу не сканировать эти страницы. Но они могут попасть в индекс и любым другим способом (например редиректом 301 с других страниц или даже сайтов).

    Выход красивый только один - удалять лишние параметры. Т.е. делать банальный 301 редирект на обычную страницу. А если нужны эти параметры для аналитики, то обрабатывать их на стороне сервера.

    если бы этот параметр можно было бы удалить, то я бы наверное его бы и не ставил :)
    во-первых, один из приведенных параметров - это признак того что страницы является AMP страницей, т.е. она должна быть и должна отличаться (там немножко другой дизайн) и индексироваться. НО (!) она действительно с точки зрения контента является дубликатом и надо как-то указать ПС что это дубликат. Гуглю достаточно указать canonical и все работает замечательно (собственно в документации по AMP все четко и расписано про AMP + canonical). А вот у Яндекса нет понятия AMP + canonical. Или оно есть, но какое-то недоработанное, такое что Yandex.Webmaster говорит о критической ошибке на сайте.
    во-вторых, второй и третий параметры - это параметры, добавляемые сервисом cloudflare (и мной не регулируемые). Гугль видимо тоже понимает что с ними все ок и не создает никаких предупреждений или еще чего-то. А вот Яндекс, как всегда "не такой как все" :)
  • Параметр Clean-param в robots.txt. Как подружить Google и Yandex одновременно?

    JohnShip
    @JohnShip Автор вопроса
    svm, каноникал указан само собой, но вот гугль очень аккуратно (и без вопросов) канонинкал схватывает. А вот Яндекс - нет. Вернее, он конечно же должен брать каноникал, но в Yandex.Webmaster БЕЗ этого параметра указывает что есть критическая ошибка (даже при наличии каноникал).
  • Параметр Clean-param в robots.txt. Как подружить Google и Yandex одновременно?

    JohnShip
    @JohnShip Автор вопроса
    svm, скорость ни причем, Яндекс указывает такие url как дубликаты и предупреждает что это может понизить SEO параметры сайта.
    Гугль действительно игнорирует эти ошибки и вопрос чисто дизайна (не аккуратненько).
  • Параметр Clean-param в robots.txt. Как подружить Google и Yandex одновременно?

    JohnShip
    @JohnShip Автор вопроса
    Видел такое решение. Однако там где я его видел, было же и написано, что это решение не делает ровно то что нужно.
    Данный метод запрещает индексировать (!) роботу данные url, но не выполняет ту функцию что делает параметр Clean-param, а именно удаляет (!) этот параметр, продолжая (!) индексировать url, но уже без параметра. Так же вторым эффектом является тот факт что УЖЕ проиндексированные (а так же url, на которые имеются явные ссылки на сайте) url не будут затронуты данным способом. Гугль их проиндексирует все равно, хотя и напишет что они запрещены в robots.txt
    Для гугля кстати это вообще не нужно. В WMT можно просто указать игнорируемые параметры и он просто их "склеит" с основным url.
    А вот у Яндекса - "все не как у людей" :)
  • Параметр Clean-param в robots.txt. Как подружить Google и Yandex одновременно?

    JohnShip
    @JohnShip Автор вопроса
    AUser0, Согласен. На текущий момент из всех предложенных вариантов (в количестве одной штуки) ваш - самый лучший :)
  • Параметр Clean-param в robots.txt. Как подружить Google и Yandex одновременно?

    JohnShip
    @JohnShip Автор вопроса
    AUser0, неужели все так делают? или все просто игнорируют эту проблему?