Правильно ли я закрываю в robots?

Question

[Камил]

Подскажите пожалуйста, запутался.
Правильно ли я делаю

Необходимо закрыть индексацию все что идет после ads

/account/ads/1
/account/ads/6?url_news=332

В роботс пишу так:

User-agent: *
Disallow: /account/ads/*

По идеи все что идет после /ads/ должно быть под запретом на индексацию, правильно?

Answer 1

[Dmitry]

Да, все верно. Можно даже без *:

User-agent: *
Disallow: /account/ads/

/account/ads/ тоже будет закрыт от индексации в обоих вариантах.

Проверить robots.txt можно, к примеру, через Яндекс.Вебмастер https://yandex.ru/support/webmaster/indexing-optio... (даже если сайт туда не добавлен)

Comments

[Камил]

А как тогда закрыть так, чтобы /account/ads/ не был закрыт, но было закрыто все что после /account/ads/123
и так далее

[Dmitry]

Камил,

User-agent: *
Allow: /account/ads/$
Disallow: /account/ads/

Если нужно также разрешить /account/ads/?some_param, то:

User-agent: *
Allow: /account/ads/$
Allow: /account/ads/?*$
Disallow: /account/ads/

[Камил]

Дмитрий, получается он, блокирует каталог+все каталоги которые в пути?
Правильно я понимаю, если у меня
Disallow: /account/ads/
То боты не смогут зайти в /account/ а также не смогут зайти в /ads/ а также не смогут зайти дальше за возможным линком после ads

[Dmitry]

Камил, нет, запрещается индексация только тех страниц, которые начинаются со строки, указанной в директиве Disallow.

В указанном вами примере боты не будут индексировать /account/ads/, /account/ads/1/, /account/ads/1/2/, /account/ads/1/2/3 и т.д.. А /account/ и /ads/ будут индексироваться.

По ссылке, которую я привел выше в ответе вы можете указать пути для теста и проверить, будут ли они индексироваться при заданном robots.txt

[Dmitry]

Камил, если ответ помог вам, то отметьте, пожалуйста, как решение