Как решить проблему CDN и robots.txt для google?

Question

[eashla]

Добрый день!
Есть подозрение, что гугл не охотно меня хочет пускать из-за того что для него якобы всё заблокировано, судя по картинке (то как видит google bot).
В разделе вебмастерской (search console) - robots.txt он видит правильный, но при просмотри страницы гугл гляделку он подтягивает неведомый robots.txt где всё для него заблокировано. Чистил кеш и добавлял в исключения - не помогло. Скажите, как решить эту проблему. Использую CDN77 в связке с плагином W3T на CMS WP

spoiler

Comments

[eashla]

Разобрался. Это моя ошибка. Делал редирект для cdn в другой robots.txt где как раз всё закрыто. Закрывал для того, что бы не было дублей. Но по какой то причини (разбираюсь) гугл бот кушает именно cdn robots.txt, а не тот который на хосте с сайтом.

Answer 1

[Dimonchik]

robots пускайте или мимо CDN или управляйте его кешированием/обновлением - пушьте то есть (не все CDN это позволяют)