Как правильно закрывать от индексаций страницы для yandex?

Question

[20strannik08]

Есть сайт мультиязычный, на 6и языках. Все языковые версии на одном домене. Решил для яндекса закрыть все буржуйские языки кроме русского.

В robots.txt прописал:

User-agent: Yandex
Disallow: */en/*
и т.д....

На всех буржуйских языках в html вставил:
<meta name="yandex" content="noindex, nofollow" />
Начал через вебмастер удалять буржуйские ссылки из индекса. Проходит уже 3й день, вижу что яндекс их по новой добавляет в индекс... (в результатах страницы так и торчат)

Подскажите пожалуйста что я делаю не так? Или мне с этим вопросом к яндексу лучше?

UPD. Добавлю что в вебмастере, правила на корректность robots.txt проверял, он сам пишет что все требуемые страницы запрещены к индексации. Метатег на нужных страницах указан один, исключительно для яндекса, потому конфликты исключены.

Comments

[archelon]

1. В вебмастере проверяли корректность правил для роботсов? (Инструменты > Анализ robots.txt)
2. «Если для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение» (https://yandex.ru/support/webmaster/controlling-ro... )
Еще какие-то мета-теги прописаны?

[20strannik08]

archelon,
1. В первую очередь проверил.(яндекс сказал что нужные страницы запрещены к индексации)
2. Нет других метатегов для ПС ботов, не имеется.
(Добавил это в шапку)

Я бы не стал просто так с данным вопросом писать)

Answer 1

[Дмитрий]

Проходит уже 3й день

Подождите. Рано еще. Куда так торопитесь. Яндекс может robots.txt месяц обрабатывать. Можете ускорить если по префиксу удалите страницы в ЯВебмастере.

Comments

[20strannik08]

О да, и я начал удалять их по 500 страниц в день(в вебмастере). Но, в вебмастере я вижу что он их понемногу начинает вновь добавлять, с каждым днем!

Яндекс может robots.txt месяц обрабатывать.

Это понятно, но:
<meta name="yandex" content="noindex, nofollow" />
В самих html он же должен был учитывать??

[Дмитрий]

20strannik08, Тоже самое. Может далеко не сразу учесть.

Answer 2

[Виктор Петров]

Ну, во-первых, если запрещать сканирование в robots.txt, то яндексбот не узнает, что страничку индексировать не надо. Ему запрет скачивать её в robots.txt должен помешать. Если эти страницы уже в индексе - так ведь там и зависнут.
Во-вторых, я не понимаю смысла самой манипуляции. Там hreflang надо прописать правильно, закрывать ничего не нужно. То, что не получит трафика из Яндекса - он и сам деиндексирует за милую душу. На ранжировании русской версии не скажется.
Ну, и как выше совершенно справедливо отметили - 3 дня сейчас это вообще ни о чём. В 2022 Яндекс резко сократил ресурсы на обход и расчёты, плюс его колбасит привычно месяцами. так что не стоит спешить с выводами.

Comments

[20strannik08]

Ну, во-первых, если запрещать сканирование в robots.txt, то яндексбот не узнает, что страничку индексировать не надо.

Разве disallow не подразумевает, исключение из индекса автоматом? Тоесть лучше даже сделать allow чтобы яндекс по страничкам прошелся и увидел x-robots-tag в html?
А как дела обстоят с сервисом удаления страниц в вебмастере?

Во-вторых, я не понимаю смысла самой манипуляции.

hreflang прописан, языковые версии с точки зрения кода доведены до логического ума. Смысл манипуляций ниже.

То, что не получит трафика из Яндекса - он и сам деиндексирует за милую душу.

Нет, получается как раз таки наоборот,примерно 70% переводов в индексе,ну судя по истории, почти 2 года стабильная ситуация. Еще давит эффект "качели". Страницы то исключаются из индекса то снова добавляются(только переводы, рус версии все норм), оно понятно, по иностранным запросам в яндекс практически никто не заходит(из тех языков что мной выбраны для переводов), эти страницы никогда не будут в нем востребованы, потому это замкнутый круг, при котором все эти переводы будут только дестабилизировать ситуацию. Тянуть общий вес на дно...и т.д. и т.п..

[Виктор Петров]

20strannik08, я бы вот не стал париться гипотетическим общим весом. "Качели" будут в любом случае - это же Яндекс, у него алго припадочные, потому что всё на апдейтах по разным метрикам. Сегодня оценил текстовые - качнуло вверх, завтра - поведенческие - в апдейт скинуло, потом пересчитал JS - и опять мотнуло куда-то.
x-robots-tag - это про серверный ответ, обычно для файлов используется. У вас же метатеги?
Я вообще к тому клоню, что нужно выбрать какую-то одну модель директив. То, что вы в robots.txt пишете - это про сканирование, вернее, даже про скачивание. Я бы не стал индексацией с помощью robots.txt управляться. Для старта мета "robots" достаточно с запретом на индексирование.

[20strannik08]

Виктор Петров,

x-robots-tag - это про серверный ответ, обычно для файлов используется. У вас же метатеги?

Прощу прощения, не так выразился, да я имел ввиду метатеги.

Я бы не стал индексацией с помощью robots.txt управляться.

Правильно ли я понимаю, что от robots.txt можно отказаться в таком случае и пользоваться чисто метатегами?

[Виктор Петров]

20strannik08, нет, от robots.txt отказываться точно не стоит. Тем более, что есть же ещё Гугл. Просто для Яндекса сканирование нужно по необходимости открывать, а от Гугла - закрывать.
Ну, и важно понимать: robots.txt - это про управление сканированием сайта, а не его индексированием.