Обнаружена, не проиндексирована Статус: Исключено, как победить?

Question

[FronzZ]

Всем привет! Сайт не индексируется в Google уже пол года... (Обнаружена, не проиндексирована). Причем, если отправляю вручную url, результата тоже нет. При проверке url в Google search console, указано что страница может быть проиндексирована. Даты последнего сканирования тоже отсутствуют, есть страницы которые отдают 404 (not found) все это время (пол года) и совершенно не нужны, но при этом Google не спешить удалять их из выдачи, да и вообще предпринимать хоть какие действия. Создается такое ощущение что роботы на сайт вовсе не заходят. Периодически в индекс залетят шальные 2-3 страницы в 2 месяца и на этом все.
Дабы исключить все возникающие вопросы:
Sitemap - есть ошибок не обнаружено.
robots.txt - все настроено адекватно, в самом коде нет шальных noindex.
Каких либо запретов и ограничений тоже нет.
На других площадках все индексируется.
Помогите разобраться в чем же причина?? И как с ней разобраться.

Сайт: https://gdz-resheba.ru/








Cпасибо!

Comments

[FronzZ]

Ребят кто нибудь пробывал через Google Indexing Api закидывать ссылки? Может какой эффект есть?

Answer 1

[ileshka]

Аналогичная проблема с сайтом. Только проблема в том, что писать по 1000 символов для каждого логотипа невыгодно. Моим решением было создать отдельный блок с ссылками страниц, которые не проиндексированы и просквозить в подвале, вынести URL этих страниц в отдельный sitemap для отслеживания индексации. Индексация улучшилась. Еще как вариант пробовать через API отправлять в индекс по 200 страниц в день.

Answer 2

[Сергей Арсентьев]

Могу только высказать предположение, что мало контента на страницах, попробуйте для теста на пару непроиндексированных страниц вроде /7-klass/algebra/makarychev/nomer-349 добавить уникального текста на 1000 знаков. И посмотреть через неделю-две, будет индексировать или нет. Вполне возможно, он просто "склеивает" похожие на его взгляд страницы.

Comments

[FronzZ]

Сергей, спасибо за идею, попробую сделать так конкретно с 1 страницей. Но загвоздка в том, что на всех этих страницах, можно просто добавить текст, но уникальным его (на всех страницах) не сделаешь.... Там и добавлять уникального не чего. Как вариант можно увеличить текст на этих страницах:
на этой,
и на этой,
но сомневаюсь что Google это устроит.

[Сергей Арсентьев]

Тут главное понять причину - если она в контенте (в тексте, например, или в том что пример картинкой сделан, а не формулой), то уже можно копать в эту сторону и думать, как там что уникализировать и дописать. А если не в этом, то дальше копать.

Кстати, можно еще написать в техподдержку Google, они там не блещут глубиной, но в принципе отвечают, можно спросить в лоб: почему не индексируются страницы, что вам не хватает и посмотреть что ответят.

[FronzZ]

Сергей Арсентьев, Cергей, так и сделаю!) Пробывал писать в тех поддержку. Но как таковой ее нет, можно написать либо на форум, либо в Google search console (оставить отзыв), писал раз 10, ответа нету... К сожалению это не Яндекс, там отвечают оперативно и можно быстро понять в чем та или иная проблема.
Буду благодарен, если подскажите куда можно написать. Может я не нашел нужные контакты.
Еще раз Спасибо за помощь! =)

[Сергей Арсентьев]

Увы, по сео только форум и отзывы в консоли, на форумах быстрее могут ответить, но это будет просто мнение людей. В консоли если ответят - то это уже будет официальное мнение сотрудников гугл, но там они реже отвечают.

Answer 3

[Светлана Козлова]

А вот cy-pr.com не видит у вас ни сайтмепа, ни роботса... Почему так, интересно. И на кодировку ругается.

Comments

[Дмитрий]

Есть там все, если вручную проверить.

[Светлана Козлова]

Дмитрий, так в этом и вопрос - не "почему их нет", а "почему не видит, хоть они и есть".

Потому что существует возможность, что такая слепота (невидимость? искажения?) как-то срабатывает и в Гугле, хоть он и выдает в ЛК, будто все более-менее.

Как вариант - видит неправильно или не целиком, из-за чего ошибочно идентифицирует как некачественные и не запускает в индекс.

[Дмитрий]

Скорей всего как написал человек выше. Сайт склеивается. Гугл его считает чем-то вроде дорвея.

[Светлана Козлова]

Можно для интереса на сервере настройки потыкать туда-сюда)

[FronzZ]

Светлана Козлова, Cветлана, уже и на сервере копался и даже в тех поддержку обращался, пытались разобраться в чем проблема. Меня смутило описание статуса: Обнаружена не проиндексирована. Вот что Google пишет
-->
Обнаружена, не проиндексирована. Это сообщение означает, что мы нашли страницу, но пока не добавили ее в индекс Google. Обычно это объясняется тем, что роботу Google не удалось просканировать сайт, поскольку это могло привести к чрезмерной загрузке ресурса, и сканирование было перенесено на более поздний срок. Именно поэтому в отчете не указывается дата последнего сканирования.
<---
С их слов все работает в штатном режиме. Смотрел логи, там тоже все нормально. Единственно как я говорил, выше робот Гугла, практически совсем не заходит на сайт.
Sitemap Google принял, в консоли ни каких замечаний нет.

[FronzZ]

Дмитрий, Можете прояснить что такое дорвей? На сколько я понял Google воспринимает все страницы как идентичный контент, из-за этого не индексирует? Или что?

[Дмитрий]

FronzZ, Дорвей - это сгенерированный спамный сайт для занятия места в выдаче. Скорее всего Гугл воспринимает как спамный ресурс. Что делать - напишу в ответе.

Answer 4

[Дмитрий]

Можете для проверки попробовать способ в первом ответе на ваш вопрос. Если получится, то как вариант можете через сервис распознавания текста перенести все эти задания в реальный контент. Это будет наиболее быстрый способ решить проблему.

Answer 5

[test753]

Мне кажется, дело не в проценте уникальности страниц. У меня такая же проблема есть страницы побольше, есть поменьше. Недавно писал большую хорошую статью, и она тоже не индексируется. Так что возможно дело в чём-то другом.

Comments

[test753]

И это проблема именно в Гугл.Вебмастере, в Яндекс.Вебмастере на тех же страницах проблем нет.

[FronzZ]

test753, Приветствую! Да, именно в гугл, такая проблема. В Яндексе, все норм. Причем, на этом домене раньше был другой сайт в 2к15, ( принадлежащий не мне), тематика другая. И от старого сайта в индексе остались страницы которые отдают 404.. Но гугл даже их не хочет удалять из индекса..При ручной отправке этих страниц на переиндексацию, гугл пишет, что они отдают 404. В общем, очень странно все это, повторюсь мнение такое, что гугл даже не сканирует ( заходит ) на сайт, с фавиконом та же история, видит, но не отображает, зп место него ставит как я понимаю стандартный красный.

[FronzZ]

test753, Как давно у вас не индексируются эти стпаницы? Тоже пишет этот статус? Обнаружена не проиндексирована?

[test753]

FronzZ, вообще говоря по-разному. Да, этот статус.
Посмотрел в истории уже проиндексированных страниц, сколько времени Гугл индексировал страницы. Так вот. Везде по-разному. Нажал на первую страницу - Гугл индексировал её 2 недели, нажал на другую страницу - 5 месяцев! Нажал на третью - 15 дней.
В общем, делаю вывод, что это проблема индексации на стороне Гугл.Вебмастера.
Можно ли как-то ускорить, пока не нашёл ответа на этот вопрос.

[FronzZ]

test753, Ясно, я попробую рали эксперемента добавить пару страниц на700 слов, почмотрю, что из этого выйдет.. Если что узнаете или получиться решить проблему с индексацией, напишите пожалуйста сюда, как победили и что делали!)

[test753]

FronzZ, я пока добавил пару страниц в твиттер ради эксперимента. Посмотрим, будет ли эффект.
В общем, да, будем наблюдать.

[Bimetr]

Присоединюсь к наблюдению. У меня точно такая же проблема, коллеги. Вывел 1,5 месяца назад на поддомен категорию товаров с основного домена, сильно отличающуюся по роду деятельности от остальных. Одинаковы только две страницы - контакты, так как юрлицо одно, регион - вся Россия. Технически всё исправно.
https://bio-metria.ru/ и https://foto.bio-metria.ru/
В индексе яндекса всё в порядке, старые страницы из индекса ушли, новые пришли, то что товары на новом поддомене даже не в топ 50, это уже другой вопрос.
Вот гугл на меня положил. В индексе висят все страницы старого домена, вместе с удаленными. по запросу site:mysite.ru всё в кучу. Не удаляются сопли ни в какую, никакими запросами, переобходами, 404. На поддоме проиндексировал всего 10% страниц, в первые 2-3 дня после запуска. На этом всё. Обнаружена, не проиндексирована. Тоже добавлял статьи, попадают в индекс, но старые страницы не индексирует вообще.
Я думаю это фильтр аффилиат, но проверки это не подтверждают.

[Bimetr]

Добавлю - после какого либо пинга из соцсетей или после добавления страниц, гугл индексирует рандомно 2-3 страницы, на следующий день выкидывает их из индекса.

[test753]

Может баг просто в Гугл.Вебмастере. Ну или "фича" такая.

[test753]

То, что выкидывает из индекса, это не связано с качеством, уникальностью текста на страницах? Если нет - тогда вообще странно.

[test753]

Ещё может какая-то особенность алгоритма - к примеру - сравнить страницы сайта, выбрать лучшие, остальные выкинуть из индекса..

[Bimetr]

Вы знаете, описание размера шага резьбы какой нибудь гайки тоже вряд ли интересно рядовому пользователю. Какими бы они уникальными не были бы. Но такие страницы есть в поиске гугла. Если закрывать такие сугубо специализированные "неинтересные" страницы noindex, то как вообще их продавать?
Считаю что данный баг неиндексации новых страниц напрямую связан с проблемой неудаления старых страниц из индекса гугл. Почему то он считает что старые страницы в его индексе приоритетнее новых страниц, несмотря на то, что старые физически удалены.

[FronzZ]

Bimetr, Очень странно все это... У меня тоже Google выкинул часть страниц из индекса, но не критично. Проблема в том что и Вас и у меня, висят в индексе старые страницы которых в помине не должно быть, при этом на новые страницы гугл категорически не заходит...

[Bimetr]

FronzZ, парадокс. Думаю временно грохнуть новый поддомен. Подождать будут ли хотя бы удаляться из индекса сопли гугл. Потери от удаления небольшие, всё равно в индексе гугла его нет, а яндекс быстро восстановит. Вот такое решение думаю попробовать.

[Bimetr]

На самом деле никто не использует временное удаление страниц на 6 месяцев, и гугл прекрасно об этом знает, все используют этот инструмент для удаления старых страниц из индекса, навсегда. В выдаче перво-наперво выходит ссылка, если там 404, то мало кто полезет искать сохранённую копию.

Есть вероятность, отличная от нуля, что таким образом гугл считает, что смена структуры сайта была ошибкой или часть сайта удалена/перемещена ошибка, и что б вебмастер не повесился, он держит их в индексе. В таком случае решение - ждать. Но у вас уже полгода так. Поэтому я хз что делать.

Answer 6

[Bimetr]

Привет! У меня Гугл начал удалять из индекса столетние несуществующие страницы после того, как я ускорил сайт. Что уже прогресс, я считаю.

Answer 7

[Анастасия]

То же самое.
В работе 3 сайта. Причём если с одним из них можно было бы объяснить это тем, что контента маловато, то со вторым это объяснение не пройдёт - сайт под бурж, контента достаточно.
С уникальностью всё в порядке, похожих страниц нет, ошибок в консоли не наблюдается, в т.ч. в мобильной версии.
И самое интересное - индексация новых статей прекратилась почти одновременно на всех трёх сайтах.
Статус в консоли тот же, что и у тс - "обнаружена, не проиндексирована" .
Индексации нет как таковой уже 4 месяца, т.е. с июля-августа. До этого всё индексировалось почти влёт.
Я думаю, это как-то связано со следующим
Поисковики всё меньше становятся похожи на поисковики...

Answer 8

[Hawchik]

Да это бан! сайт под какой-то из фильтров гугла угодил! посмотрел сайт - там (там одна строка текста).... и таких 8 тысяч страниц...... такие сайты даже лет 10 назад в бан улетали - а теперь алгоритмы сложнее....

Comments

[FronzZ]

Приветствую! Тоже думал, может бан какой.. Но смущают несколько моментов: Почему у аналогичных сайтов ( которых предостаточно в этой категории) и у которых текста не больше ни каких банов нет и они норм индексируются.
2) Если предположить, что это бан, почему все же переодически страницы залетают в индекс, да их не много (страниц 10-20 в месяц), но все же.
3) Проблема присутствует только в гугле, в других поисковых системах все норм.

Если не сложно можете подсказать как вы узнали что это бан, либо какой то фильтр? Лично я не знаю как это проверить в консоли пишет что все норм и ни каких ограничений нет. Мне хотябы узнать какова причина точно, и уже от этого отталкиваться. Повтрюсь буду благодарен, если подскажите как узнать, что это точно бан.

P.s. Конечно если это гадание на кофейной гуще или так называемое, что пришло в голову то и написать, то можно много чего натворить и наговорить. Спасибо! ;-)

Answer 9

[Виктор Лось]

У нас на сайте аналогично Яндекс кушает отлично, а вот Google очень медленно :(
Пришли к выводу, что все таки нужно больше уникального текста и контента добавлять

Answer 10

[Ivan Gvrl]

Всем привет.
В Google данная проблема объясняется тем что бот не смог проанализировать страницу и временно перенес это мероприятие на потом.
У меня на сайте не так много страниц. По итогу всего 3 страницы проиндексированы, остальные - нет. Страницы с портфолио и прочими основными (весь контент уникальный) имеет статус "Обнаружена, не проиндексирована".
В Search Console только что вручную поставил пару страниц в очередь на принудительное индексирование.
Посмотрим, что из этого выйдет.

Comments

[FronzZ]

Ivan Gvrl, Привет! Попытка не пытка, но я так пробовал раз 100 не меньше, толку мало... Переодически может что то и залетает в индекс, но это капля в море...

[Ivan Gvrl]

Вроде как пошло дело... посмотрим что завтра будет

[Ivan Gvrl]

FronzZ, а чего у вас код

<noscript><div><img src="https://mc.yandex.ru/watch/76226344" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
    <!-- /Yandex.Metrika counter -->

в теле (body) сидит? Разве он должен быть не в head?

[FronzZ]

Ivan Gvrl, в head разместмл сам скрипт.

[Юрий Лысенко]

Ivan Gvrl,
В каком head?
Элементы DIV не должны распологатся в head.
Если советуете людям то будьте точны и описывайте подробно и не вводите в заблуждение.

Answer 11

[monkitto]

Начал заниматься интернет-магазином в конце ноября, там трафика вообще не было, был какой-то фронт с шаблона рандомного натянутый на самописную цмс и наполнение товаром с описаниями и структурой другого сайта. В начале декабря релизнулся новый дизайн, структура и т.д., сейчас пишется контент постоянно и обновляется старый. На старте работы по 10-20 уников в сутки заходили, сейчас застой полный и тянет ошибки в консоли еще с марта 21 года, когда там было, что я расписал выше. Канониклы настроены, редиректы работаю, ссылки ставятся качественные и органические, DR по ахрефсу вырос с 0.2 до 5, по началу все норм было, новый контент в течении 2 дней в индексе был, а сейчас за месяц только 1 статья появилась, а старые выпали.

Answer 12

[ArtSpace]

Была такая проблема. Что характерно, началась после того как решил привести сайт под все рекомендации гугла... После того как переназначил приоритеты в карте сайта для страниц, часть ранее популярных страниц резко удалились с поиска вообще. А новые не добавлялись в индексацию. Начал играться приоритетами и картина немного исправилась...

Answer 13

[circusvert]

У меня та же проблема с конца ноября 2021 года - ВСЕ новые страницы - "Обнаружено, не проиндексировано" со статусом "Исключено". Причем не индексируются как обычные страницы (например, с описанием процесса покупки), так и карточки товаров. А те страницы, которые уже есть в индексе, Гугл обходит исправно и никаких проблем нет.
Ища решение проблемы, наткнулся на иностранный форум. Там обсуждали эту же проблему, но произошла она 2 года назад. Тогда вопрос решился тем, что это оказался косяк Гугла, который он публично признал и исправил. Похоже, что сейчас проблема в этом же. Я забил и просто жду.

Answer 14

[sheldom]

Вот что в гугл рекомендуют:
https://support.google.com/webmasters/thread/13936...

Как правило, Google не сразу индексирует новые сайты. Подождите или запросите сканирование и индексирование. Также стоит отметить, что Google сканирует миллиарды сайтов и некоторые может пропустить. Чаще всего это происходит по следующим причинам:

• Другие сайты редко ссылаются на ваши страницы.
  
• Если сайт новый, Google может не успеть отсканировать его.
  
• Структура сайта затрудняет сканирование.
  
• При попытке сканирования произошла ошибка.
  
• Сверьтесь с приведенным контрольным списком и убедитесь, что вы выполнили хотя бы необходимый минимум условий для появления сайта в Google.
  
• Предотвратите перегрузку сервера, сделав ваш сервер и сайт быстрее;
  
• Поставьте ссылки на новые страницы вашего сайта на видном месте, например с главной страницы;
  
• Избегайте использования на своем сайте ненужных URL-адресов, таких как бесконечные URL-адреса календаря или фильтров и сортировок со всеми возможными комбинациями для страниц категорий.
  

Answer 15

[hypotango2]

У меня проблема решена. Интересно как у других. Не знаю то ли все само собой разрешилось, то ли мои действия повлияли - я улучшил значение Core Web Vitals, в частности CLS. После этого страницы начали индексироваться как прежде. Хотя может быть и простым совпадением.

Answer 16

[po2019]

Я в середине января с такой проблемой столкнулся - при чём на всех сайтах одновременно. Т.е. от содержимого страниц это вообще никак не зависит. Почитал форумы - советовали Гугл API. Ну поставил
плагин - прогнал страницы и да все страницы влетели в индекс почти мгновенно. Но почему-то с 16 марта этот способ перестал работать - страницы отправляюца в гугл, но результата нет.

Comments

[Hikari123]

Здравствуйте, у меня такая же проблема. Объясните мне, пожалуйста, что значит
"прогнал через google API ". Я нашла англоязычный сайт https://cloud.google.com/apis но я ничего не понимаю.. Что надо сделать? У меня сайт на Тильде

Answer 17

[riddickfmi]

У меня на сайте все было тоже самое. Где то с конца марта перестали страницы индексироваться "Обнаружена, не проиндексирована Статус: Исключено". Много думал чего, предпринимал и ничего так прям сильно не помогало. Но потом через google cloud API прогнал страницы и да все страницы влетели в индекс примерно через несколько дней.. я так решил проблему.

Answer 18

[Hikari123]

Здравствуйте, у меня такая же проблема. Объясните мне, пожалуйста, что значит
"прогнал через google API ". Я нашла англоязычный сайт https://cloud.google.com/apis но я ничего не понимаю.. Что надо сделать? У меня сайт на Тильде

Comments

[po2019]

У меня сайт на WordPress - для него есть несколько плагинов, которые автоматически отправляют страницы в Гугл (нужно только ключ json получить для них). Но я уже написал в комментарии - это уже не работает, отправляю новые страницы по старинки через search console - страницы индексируются хорошо, если не проиндексировались - значит со страницей проблема.

[Hikari123]

po2019,
Вот тут была кнопка отправить на индексацию, и я второй раз уже шмальнула. Первый раз месяц крутилось, но все равно выдало ошибку. Сейчас 2ой раз...


Или, может, лучше по одной отправлять, как тут?

[po2019]

Hikari123, Если страница попала в этот раздел "Обнаружена, не проиндексирована". Значит у Гугла есть к ней претензии. Обычно это означает что заголовки страниц (Title) совпадают или дублируются с уже существующими страницами этого или любого другого сайта. Скопируйте Title, вбейте в поисковик Гугл и посмотрите - есть ли совпадения. Либо есть дубли страниц на собственном сайте с точно таким же названием. Нужно сменить заголовки Title на уникальное нигде не повторяющиеся название и запросить индексирование.

[Hikari123]

po2019, Благодарю!