HeadTek
@HeadTek

Как решить проблему с недоступностью AWS Googlebot'ом?

Здравствуйте!
При проверке с помощью Google Webmaster Tools сервис говорит о не доступности CDN. То есть адрес *.cloudfront.net недоступен. Соотвественно, Googlebot видит страницу без CSS и скриптов.
На AWS убрали из robots.txt все записи, содержащие знак "?", пустые строки, так как есть информация, что амазоновский парсер их не вспринимает.
В данный момент robots.txt на cloudfront.net выглядит так:
User-agent: *
Disallow: /*supported_formats.htm
Disallow: /news/*
Disallow: /news_ru/*
Host:  hostname.cloudfront.net


Есть смысл попробовать убрать записи с "?" из robots.txt нашего сервера?

robots.txt нашего сервера:
User-agent: Mediapartners-Google
Disallow: /buy-
Disallow: /download-
Disallow: /*download.html
Disallow: /thank-you-for-installing.html
Disallow: /thanks-for-your-interest.html
User-agent: AdsBot-Google
Disallow: /buy-
Disallow: /download-
Disallow: /*download.html
Disallow: /thank-you-for-installing.html
Disallow: /thanks-for-your-interest.html
User-agent: *
Disallow: /buy-
Disallow: /download-
Disallow: /*formats.html
Disallow: /*requirements.html
Disallow: /*download.html
Disallow: /thank-you-for-installing.html
Disallow: /thanks-for-your-interest.html
Disallow: /*?*
Disallow: /*?
Disallow: /adw/*
Sitemap: http://www.hostname.pl/sitemap.xml
Host: www.hostname.pl
User-agent: Googlebot-Image
Disallow: /
  • Вопрос задан
  • 153 просмотра
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы