Почему Google так медленно индексирует популярный сайт?
Всем привет, пересоздаю тему из-за того что до сих пор актуальна.
Проблема вот какая есть популярный сайт который оооооочень медленно индексируется Google. Есть новости которые уже спустя месяц до сих пор не проиндексированны пока не добавил сам в ручную и не попросил проиндексировать. Если статья и попадает в Google под индексацию то обычно в течении 1-2 недель, попадает сразу в ТОП-3 и за пару дней на ТОП-1 переходит. Но почему так долго? Есть сайты где контент добавляются и он через час в Google есть хоть и в ТОП-10 а мой не добавляют и спустя недели. Куда копать? В чем беда может быть?
Что касается жалоб от Google. Были жалобы на повторяющееся метаописание (description) на 4 страницах, уже исправлено. Больше жалоб не поступало...
sim3x, Имеет место 30 среди всех сайтов в своей стране под которую и идет продвижение. Посещаемость 10к+ все страницы если и попадают в выдачу получают минимум ТОП-3, у яндекса индексация на ура, средний CTR 30%, средняя позиция 3.
sim3x, Не много не понял что за бинг, я в и в Google и в Yandex ТОП-3 (С 1 по 3-е место не дальше), население действительно около 150к жителей (Это те кто интернетом пользуется.).
sim3x, Анализировать немного не ясно что. Те кого чаще индексирует сделаны на той же CMS DLE что и у меня. Что касается дизайна и прочего у них все стандартно+ скаченный дизайн. Что касается разметки то 90% из них просто на странице перечисляют ключевые слова прям подряд, в тупаю под статьей перечисление никак не обозначено это не теги и не что-то просто перечисление запросов из google новости тас икс узбекистан тас икс тас икс читать новости и так символом на 600.
У многих Description генирируется стандартно берется из самого текста статьи CMS DLE. Заголовки таких сайтов вот 2 пример
НОВОСти УЗБЕКИСТАНА ЧИТАТЬ ОНЛАЙН ТАС ИКС
Читать онлайн новости узбекистана тас икс читать новости. Новости Тас Икс
Текст копируется полностью с других сайтов а что касается ссылок на них у каждого штук по 5-10 ссылок в большинстве своем от сайтов которые просто публикуют все ссылки на сайты. Страница на которой просто перечислены домены разных сайтов штук по 500
Чтобы ответить что с "больным" - нужно увидеть этого "больного". Т.е что с сайтом сказать сложно. Проблема может быть в организации перелинковки внутри проекта, его авторитетности( трасте) который напрямую зависит от количества и КАЧЕСТВА ссылающихся на Вас , сайтов и качестве самого контента, как его тематичности. Всё это может давать подобный эффект.
К сожалению не получится просто на сайте закрыта внешка и доступ имеют только Google,Yandex и пользователи страны, никто больше не сможет зайти на на него. Что касается самой беды забыл еще вот что указать у сайта менялся домен на старом индексация была в течении 2-3 часа, старому домену был год. Новому домену уже 9 месяцев.
К сожалению не получится просто на сайте закрыта внешка и доступ имеют только Google,Yandex и пользователи страны, никто больше не сможет зайти на на него.
Вас обманул кто-то.
Это технически невозможно реализовать.
Константин Хаиров, Возможно еще причина в "прошлом" домена. Был заражён вредоносным кодом, или некачественное ссылочное. Если домен новый - то некорректно выполнили редирект. Ну и само по себе - закрыть сайт от пользователей оставив только роботов - и ожидать его в индексе- так себе идея , поскольку философия поисковых машин всё-таки сайт для людей. А если только для роботов - могут быть нюансы.
Андрей Голубев, Заражений не было, переадресация выполнил верно через NGINX этот способ видел на большинстве сайтов когда искал ответ на вопрос "Как сделать редирект со старого домена на новый" Заражений не было и домен совсем новый без истории. Что касается закрытой внешки то там сайт 2 года работа и за обновлением или добавлением новых IP у Google стараюсь следить, ни разу не было жалобы от Google что сайт недоступен.
В Firewall пропускаешь только диапозон IP своей страны и диапозон Google с Yandex , проще простого.
Яндекс и Гугль не разглашают адреса своих поисковых ботов.
Полагаю, вы просто забанили поисковик. Но не полностью - часть ботов все же прорывается (например, это сервера внутри вашей страны). И потому он обходит вас столь редко.
Давным-давно сделано - использование в качестве ботов серверов в чужих датацентрах. Тот же Яндекс даже и не скрывал зачем - для того, чтобы избежать обмана (когда к вам приходит бот из IP, принадлежащего Яндексу, вы показываете одно; когда приходит обычный посетитель - показываете другое).
А на IP адреса самого Яндекса и Гугля - там совсем другие сервисы.
Дело в том, что бот только собирает информацию. А ее анализ, индексация, хранения и выдача ответов - вот там как раз используются сервера из подсети Яндеса, Гугля. Тут уже скрывать не нужно.
А боты - они не факт, что имеют IP, которым владеет Yandex LLC
Вот список самых частых в порядке убывания:
-много js на страницах
-отсутствует или плохо настроена сайтмапа
-на сайт мало внешних ссылок
-очень большое количество страниц с сомнительным качеством или малым количеством контента
-редкая обновляемость контента
Не ясность именно в том что ничего из этого нет у меня. Контент ежедневно обновляется по 5-10 статей. JS на странице (Bootstrap+owl carousel) Внешних ссылок около 50 с разных сайтов 10-15 из которых с лучших сайтов моей страны посещаемости. Все страницы получают ТОП-3 именно за счет достоверной информации и привлеченности пользователей.
Гугл , к счастью, не настолько умен , или, тут скорее , преимущество локализованной выдачи
мы сталкивались когда переведенные страницы убирались под фильтр с присыланием сообщения в вебмастер, но при правильных настройках hreflang и региона сайты оставались
Гугл пингуете при добавлении контента?
Новый сайтмап Генерите при каждом обновлении и в нем проставлены повинные интервалы обновления?
В Твиттер скармливаете ссылки новые?
Средний
Простой
Средний
Простой
Сложный
