JohnShip
@JohnShip
-= JpS =-

Параметр Clean-param в robots.txt. Как подружить Google и Yandex одновременно?

О том что параметр Clean-param не воспринимается гуглом, уже писалось и не раз (и на самом Яндексе тоже). С этим все понятно. Но как быть, если я хочу использовать robots.txt И для google И для Яндекс одновременно (да и вообще любых прочих ПС)?
Вроде бы существует директива, делящая на секции файл robots.txt, позволяющая задать параметр исключительно для Яндекса. Но при проверке утилитой от Google он генерирует ошибку (Яндекс же считает этот файл корректным):

6123646d27d16574627797.png

Как я ни пробовал (менял секции, объединял их, менял местами), мне не удалось сделать так чтобы обе поисковые системы приняли этот файл и посчитали бы его корректным.

Возможен конечно вариант, когда я на сервере буду определять бота, который запрашивает файл и отдавать ему разные варианты, но это же очень неудобно, да и под все боты не напишешь правил. Так, например, сервис SemRush тоже не принимает такой файл. И думаю, большинство других сервисов так же, ибо этот параметр воспринимается только Яндексом.

Кто-нибудь использует параметр Clean-param на своих сайтах и использует одновременно И Google Webmaster Tools И Yandex.Webmaster? Как вы боретесь с ошибками (в Яндексе) дубликатов страниц с "ненужными" параметрами?
  • Вопрос задан
  • 474 просмотра
Пригласить эксперта
Ответы на вопрос 1
@svm
Инструмент же пишет, что он не распознает синтаксис этой директивы, а другие при этом он будет учитывать.
Т.е. от использования этой директивы, другие правила не ломаются. В этом можно так же убедиться в этом инструменте, вставив любой url, который попадает под другие правила.

У меня долгое время была эта директива установлена, но я не помню проверял или нет в этом инструменте. В любом случае, в GSC предупреждений не высвечивалось.

На данный момент этой директивой не пользуюсь, так как перешел на использование фреймворка laravel и в нем написал посредник, который удаляет ненужные параметры, а нужные оставляет.

Как непроверенный вариант на практике, могу предложить такой вариант:
Disallow: /*?*amp
Disallow: /*?*__cf_chl
Я его только что придумал и быстро проверил. Вроде работает.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы