Почему в Google Search Console не видно еще 13 страниц?

Question

[Анна]

Здравствуйте! Помогите, пожалуйста, разобраться.
Всего на сайте 102 страницы.
Гугл проиндексировал 84 страницы, из них 5 не проиндексированны.
То есть он дает информацию о 89 страницах. Но остальные 13 нигде не показываются, и я даже не могу посмотреть, на каких страницах мне нужно исправлять что-то, чтобы они были проиндексированны.
Выглядит это вот так


и еще не понятно, почему требует canonical, я же исправила и дописала под стилями вот эту строчку:

<link rel="canonical" href="https://адрес-сайта.ru/">

Помогите, пожалуйста, разобраться, как найти эти страницы и исправить их.

Answer 1

[Дмитрий]

Но остальные 13 нигде не показываются, и я даже не могу посмотреть, на каких страницах мне нужно исправлять что-то, чтобы они были проиндексированны.

Причин может быть миллион. От банального - не успел поисковик в индекс занести, до каких-нибудь ошибок или считает эти страницы малоценными. Может быть не настроена карта сайта или закрыты в robots.txt. Надо смотреть сам сайт, а еще лучше с доступом в SC.

Сделайте следующее. Возьмите урл каждой страницы и вручную загоните в SC. По ходу этого процесса гугл будет давать информацию об этих страницах: принимает их к индексации или нет. Если нет, то может сказать по какой причине.

Помогите, пожалуйста, разобраться, как найти эти страницы и исправить их.

Если вносили канониклы на сайт после добавления в SC, то изменения будут не сразу.

Comments

[Анна]

Спасибо большое, сейчас попробую! А добавить их заново в гугл можно через Google fast indexing?

[Дмитрий]

А добавить их заново в гугл можно через Google fast indexing?

Не надо, добавляйте через Search Console. Самая верхняя строка.

[Анна]

Дмитрий, Спасибо Вам огромное! буду пробовать по очереди их закидывать )

[Дмитрий]

Анна, и смотрите что пишет SC по каждой из закидываемых страниц.

Answer 2

[UthvfyV]

вы уверены что непроиндексированные страницы существуют? Очень часто, а для некоторых причин неиндексации в большинстве случаев, непроиндексированные страницы не существуют. Пересмотрите, если есть, карту сайта, обновите её. Есть сервисы для создания карты сайта онлайн. Проверьте файл robots.txt. Если есть непроиндексированные страницы с причиной блокировки в robots.txt, сделайте пробный чистый robots. В смысле не пустой, а с записью только User-agent: *
Allow: /

Sitemap: ... sitemap.xml

Если ваш сайт на wordpress, то это скорей всего сео плагин создаёт корявые ссылки. Если указана причина Страница с переадресацией, то скорее всего этих страниц не существует. Вернее такая то страница допустим есть , но адрес к ней несуществующий. К примеру есть страница урл сайта/страница такая-то, а урл с причиной переадресации имеет урл урл сайта/категория такая-то/страница такая-то. Чтобы посмотреть непроиндексированные адреса нажмите на причину. И увидите список. Если вы убедитесь что эти урлы не существуют, то просто проигнорируйте это, всё равно вы причину не найдёте, больше чем уверен. "почему требует canonical". Потому что есть канонический адрес. Опять таки, если каноникал, с переадресацией, копия, проверьте на правильность неиндекированного урла. В большинстве случаев эти урлы несуществуют.

Comments

[Анна]

Спасибо, большое за ответ!
Проверила, в карте сайта все есть.
Вопрос немного не по теме.
Может быть, дело в коде, который против ботов?
Я нашла однажды на форуме код, который должен был запрещать ходить ботам по сайту и портить статистику в метрике своими "отказами", и записала его в в robots-txt . Похоже, результатов это не дает особых. Подскажите, пожалуйста, он может мешать индексации?
Содержимое файла robots.txt

User-agent: *
Disallow: /sample-page/
Disallow: /carrera+y+carrera/
Sitemap: https://мой-сайт.ru/sitemap.xml

User-agent: Googlebot

Allow: *.css
Allow: *.js

User-agent: Baiduspider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: YodaoBot
Disallow: /
User-Agent: SputnikBot
Disallow: /
User-agent: moget
Disallow: /
User-agent: ichiro
Disallow: /
User-agent: NaverBot
Disallow: /
User-agent: Yeti
Disallow: /
User-agent: oBot
Disallow: /
User-agent: AddThis
Disallow: /
User-agent: wotbox
Disallow: /
User-agent: Embedly
Disallow: /
User-agent: 200PleaseBot
Disallow: /
User-agent: PaperLiBot
Disallow: /
User-agent: Genieo
Disallow: /
User-agent: ShowyouBot
Disallow: /
User-agent: TweetmemeBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: Exabot
Disallow: /
User-agent: SurveyBot
Disallow: /
User-agent: sistrix
Disallow: /User-agent:
MJ12bot
Disallow: /User-agent:
BDCbot
Disallow: /
User-agent: BDCbot/1.0
Disallow: /
User-agent: rogerbot
Disallow: /
User-agent: spbot
Disallow: /
User-agent: linkdexbot
Disallow: /
User-agent: 360Spider
Disallow: /
User-agent: 360Spider-Image
Disallow: /
User-agent: 360Spider-Video
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: HaoSouSpider
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: grapeshot
Disallow: /
User-agent: proximic
Disallow: /
User-agent: LinkpadBot
Disallow: /
User-agent: Sunrise
Disallow: /
User-agent: Butterfly
Disallow: /
User-agent: Linguee Bot
Disallow: /
User-agent: TwengaBot-2.0
Disallow: /
User-agent: TurnitinBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: 008
Disallow: /
User-agent: AMZNKAssocBot/4.0
Disallow: /
User-agent: NerdyBot
Disallow: /
User-agent: trovitBot
Disallow: /
User-agent: ShopWiki
Disallow: /
User-agent: 007ac9
Disallow: /
User-agent: SiteExplorer
Disallow: /
User-agent: XoviBot
Disallow: /
User-agent: SMTBot
Disallow: /
User-agent: meanpathbot
Disallow: /
User-agent: MixrankBot
Disallow: /
User-agent: EasouSpider
Disallow: /
User-agent: Riddler
Disallow: /
User-agent: SeznamBot
Disallow: /
User-agent: Swiftbot
Disallow: /
User-agent: Qwantify
Disallow: /
User-agent: psbot
Disallow: /
User-agent: CrazyWebCrawler-Spider
Disallow: /
User-agent: HyperCrawl
Disallow: /
User-agent: daumoa
Disallow: /
User-agent: coccoc
Disallow: /
User-agent: netseer
Disallow: /
User-agent: BacklinkCrawler
Disallow: /
User-agent: Alexabot
Disallow: /
User-agent: SurdotlyBot
Disallow: /
User-agent: MegaIndex.ru/2.0
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: yacybot
Disallow: /
User-agent: QuerySeekerSpider
Disallow: /
User-agent: WBSearchBot
Disallow: /
User-agent: DeuSu
Disallow: /
User-agent: TDJBOT
Disallow: /
User-agent: Findxbot/1.0
Disallow: /
User-agent: Findxbot
Disallow: /
User-agent: Y! J-ASR
Disallow: /
User-agent: InfoWeb
Disallow: /
User-agent: Nutch Bots
Disallow: /
User-agent: Python-urllib
Disallow: /
User-agent: Ezooms
Disallow: /
User-agent: UnwindFetchor
Disallow: /
User-agent: Flipboard
Disallow: /
User-agent: voltron
Disallow: /
User-agent: IstellaBot
Disallow: /
User-agent: silk
Disallow: /
User-agent: Wget
Disallow: /
User-agent: UptimeRobot
Disallow: /
User-agent: UptimeRobot/2.0
Disallow: /
User-agent: ScreenerBot
Disallow: /
User-agent: SearchmetricsBot
Disallow: /
User-agent: WeSEE
Disallow: /
User-agent: linkdexbot/2.0
Disallow: /
User-agent: linkdexbot/2.1
Disallow: /
User-agent: linkdexbot/2.2
Disallow: /
User-agent: Uptimebot
Disallow: /
User-agent: Uptimebot/1.0
Disallow: /
User-agent: Lipperhey
Disallow: /
User-agent: ltx71
Disallow: /
User-agent: Python-urllib/2.7
Disallow: /
User-agent: Sogou web spider/4.0
Disallow: /
User-agent: Baiduspider/2.0
Disallow: /
User-agent: PrivacyAwareBot/1.1
Disallow: /
User-agent: yoozBot-2.2
Disallow: /
User-agent: wget
Disallow: /
User-agent: tweetmeme
Disallow: /
User-agent: DoCoMo/2.0
Disallow: /
User-agent: ichiro/4.0
Disallow: /
User-agent: ichiro/3.0
Disallow: /
User-agent: TwengaBot-Discover
Disallow: /
User-agent: TwengaBot/2.0
Disallow: /
User-agent: TwengaBot
Disallow: /
User-agent: bendercrawler
Disallow: /
User-agent: baidu
Disallow: /
User-agent: bsalsa
Disallow: /
User-agent: phpservermon/3.1.1
Disallow: /
User-agent: Gluten Free Crawler/1.0
Disallow: /
User-agent: Gluten Free Crawler
Disallow: /
User-agent: Sogou Pic Spider/3.0
Disallow: /
User-agent: Sogou head spider/3.0
Disallow: /
User-agent: Sogou Orion spider/3.0
Disallow: /
User-agent: Sogou-Test-Spider/4.0
Disallow: /
User-agent: Sogou Pic Agent
Disallow: /
User-agent: Baiduspider+
Disallow: /
User-agent: Baiduspider-video
Disallow: /
User-agent: Baiduspider-image
Disallow: /
User-agent: YoudaoBot/1.0
Disallow: /
User-agent: ChangeDetection
Disallow: /
User-agent: SurdotlyBot
Disallow: /
User-agent: libwww-perl
Disallow: /
User-agent: MojeekBot
Disallow: /
User-agent: Sogou web spider
Disallow: /

[UthvfyV]

ссылка на карту сайта ставится внизу. Sitemap: https://мой-сайт.ru/sitemap.xml А robots.txt ужасный. Попробуйте убрать всё и оставить только
User-agent: *
Allow: / Т.е. файл будет выглядеть так.
--------------------------

User-agent: *
Allow: /

Sitemap: https://мой-сайт.ru/sitemap.xml

------------------------------
"он может мешать индексации?", может, и даже очень.

[UthvfyV]

В Google Search Console в боковом меню нажмите"Индексирование" - "Страницы". Там где написано "Почему эти страницы не индексируются" нажмите на причину где есть непроиндексированные и посмотрите ссылки. Сравните их с оригиналом. Если разные, ничего делать не надо. Эта неиндексация никакой роли не играет. Скорее всего это ваш сео плагин шлёпает битые ссылки, или что-то ещё. Так не определиш.

[Анна]

UthvfyV, спасибо Вам огромное! Все убрала лишнее.

Еще дурацкий вопрос: мне надо каждый раз после внесения изменений загружать в вебмастер яндекса и гугла карту сайта, или они сами ее обновят?

[UthvfyV]

Надо создать такую карту сайта которая автоматически обновляется при изменении сраниц. И загрузить её на яндекс вебмастер или Google Search Console, или др. поисковых систем. И тогда уже они будут видеть изменения. Например в Google Search Console в меню есть пункт "Файлы Sitemap", нажимаете и добавляте.

[Анна]

UthvfyV, спасибо большое!

[UthvfyV]

на здоровье. Ели возникнут вопросы, пишите, всегда отвечу. Можете здесь мне писать.

Answer 3

[Пума Тайланд]

Так откройте сайтмап в разделе нюнугл консоли он покажет какие не проиндексорованы