Почему Яндекс очень долго индексирует новые страницы?
На сайте есть некоторое количество статей, которые приносят очень небольшой трафик, добавляются эти статьи регулярно, но проблема в том, что Яндекс уже достаточно долгое время (явно дольше недели) не индексирует новые страницы. Статьи не являются плагиатом или тупой перепечаткой, сайт тоже достаточно качественный и по некоторым запросам (уже) находится в топ3 выдачи. Ни о какой seo-переоптимизации тоже не может идти речи.
С технической стороны также нет никаких проблем, проверял все несколько раз, от индексации закрыто только то, что действительно должно быть закрыто.
В чем может быть причина такого долгого индексирования? Читал, что Яндекс чаще заходит на сайты, которые добавляют контент с какой-то регулярностью, может быть сайт слишком молодой, чтобы Яндекс делал такие выводы? Сайту около месяца.
Также очень странно, что некоторые странички все таки находятся в индексе и прекрасно там себя чувствуют.
К сожалению, работая консультантом на одном из FREE хостингов такие вопросы часто возникали в рабочем процессе.
По частоте ошибки возникали:
1) Неправильно настроен htaccess (блокировались боты Yandex)
2) Не оптимизирован сайт: подгрузка 100500 лишних файлов и винегрет в запросах к MySQL.
3) Если вы на бесплатном хостинге или хостинге с превентивной защитой от перегрузки.
На третьем пункте остановлюсь подробнее:
- хостинг ограничивает частоту запросов к сайту, поэтому когда приходит бот яндекса он может "выпалить" чрезвычайно огромное количество запросов (а часто так и делает).
Поэтому сервер часто не отвечает и ваша страница недоступна для загрузки ботом. Какой выход?
Попробуйте использовать директиву в robots.txt Crawl-delay. Чаще всего после применения этой директивы сайты прекрасно индексируются Яндексом.
Ребята, вы чего тут советуете вообще?))) Техническая оптимизация это правильно, но речь в вопросе о другом. Написано же, что сайту всего месяц, а значит причины в другом.
Во-первых, у Яндекса обновление поисковой выдачи происходит +- 1-2 раза в неделю. Зарегистрируйтесь в Яндекс-Вебмастере и получайте уведомления об обновлениях. Причём, в выдачу попадают страницы проиндексированные роботом ДО предполседнего обновления. Т.е. были обновления 9 мая, 12 мая и 17 мая. Так вот 17 мая в индекс попадут страницы, которые были проиндексированы роботом ДО 12 мая. При следующем апдейте попадут страницы проиндексированные ДО 17 мая и т.д. Кстати, даты реальные за последний месяц, Яндекс удивляет частотой апдейтов последние 2 месяца.
Во-вторых, молодой сайт еще не известен Яндексу и он только пробует его «на вкус». Когда поймёт, что сайт живёт и развивается он будет заходить на сайт регулярно и страницы будут появляться в индексе то же регулярно.
У меня домен висел пустым долго и бот первый месяц после запуска только привыкал что сайт ожил. Так что просто учитывайте эти факты и не ждите новую страницу в индексе раньше, чем через 1-2 недели.
Средний
Средний