Почему роботы не видят контент?

Question

[Roma741]

привет всем сайт на wordpress windowssolutionsltd.co.uk галочку снял чтобы google мог индексироват сайт но когда проверил через https://pr-cy.ru/simulator/ показало что робот вобше не видит кодa кто подскажет почему?

Comments

[archelon]

добавьте сайт в яндес вебмастер и google search console
сторонние сервисы могут ошибаться

Answer 1

[Анатолий]

В начало robots.txt пропишите:

User-agent: Googlebot
Disallow: /wp-admin
Disallow: /wp-includes
Allow: /wp-includes/js/*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: *?s*
Disallow: *?preview=true*
Disallow: /search
Disallow: */trackback/
Disallow: */feed
Disallow: */comments/
Disallow: */comment
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Disallow: */wp-json/*
Allow: /wp-content/uploads/

Вместо:
Sitemap: windowssolutionsltd.co.uk
напишите:
Host: windowssolutionsltd.co.uk

Другие страницы этот сервис прекрасно видит, может проблема в нем самом? )

Comments

[archelon]

sitemap нужен правильный
windowssolutionsltd.co.uk/sitemap.xml
а директива host устарела, уже не используется

[Анатолий]

archelon, возможно, но на сайте 3 страницы, так что хз.
Человек указал url на сайт вместо sitemap. Поэтому решил, что пусть уж лучше host будет.
Host не устарел! Host используется, если есть зеркала. К примеру завтра сайт переведут на https, тогда host пригодится. Нужно будет только протокол дописать.

[archelon]

Анатолий, нет, host отменили год назад.
https://webmaster.yandex.ru/blog/301-y-redirekt-po...

Answer 2

[solider]

не пойму что за галочка...
а файл Robots.txt настроен?

Comments

[Roma741]

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: url

[Roma741]

[Владислав Лысков]

попробуй
Allow: /wp-content/uploads/ поменять на Allow: /