Правила в robots.txt влияют на отображение баннеров и внешние ресурсы! Кто сталкивался и как решали?

Question

[xmoonlight]

Доброго дня, всем.

Столкнулся с проблемой (раньше всё работало нормально)...

При проверке из консоли вебмастер-гугла страницы, пишет, что
все внешние линки, включая баннеры и счётчики, заблокированы файлом robots.txt!
Баннеры - просто никак не показываются...
(Host: был указан до этого и сейчас указан...)

Разве robots.txt работает на внешние ресурсы (что-то не помню такого)?!

Кто сталкивался уже с подобным?
Что это за бага и как бороться?
(причина проста: много "левых" урлов, которые не нужно открывать из Disallow)

UPD: Код из robots.txt:

User-agent: *
Host: https://domain.com
Disallow: /cache/
Disallow: /cli/
Disallow: /*.ttf
Disallow: /*.svg
Disallow: /*.pdf
Disallow: /*.txt
Disallow: /*.doc
Disallow: /*.css
Disallow: /*.js

Disallow: *?ax=boost&print=1
Disallow: */?
Disallow: *?*format=
Disallow: *?*=rss
Disallow: */index/
Disallow: */index.html$

Allow: */pagead/*
Allow: /

Allow: */pagead/* и Allow: / добавил недавно...

Answer 1

[VVB]

Былобы лучше если вы выложили свой файл robots.txt чтобы мы не угадывали причины. Но а так , можно предположить :
- у вас в файле robots.txt расписаны правила для разных ботов (не одно правило для ВСЕХ ботов, а отдельные правила для разных ботов)
- у вас в файле для ботов (краулеров) которые отвечают за медийку стоит (вероятно) Disallow: / - что запрещает краулеру заходить на страницу, таким образом он не может проверить, удовлетворяет ли контент вашей страницы требованиям.

Comments

[xmoonlight]

VVB, добавил в вопрос.