Страница обходится роботом, но отсутствует в поиске в я.вебмастере. Как победить?
На сайте 50 тысяч страниц. Контент этих страниц спарсен и обновляется с открытых источников, структурирован для всевозможных поисков и вообще юзерам удобно. Тексты на страницах разные, на выходе получаются уникальными.
robots.txt открыт для всех, sitemap.xml присутствует, в нем ссылки на дочерние sitemapы, разбито по 5000 ссылок.
sitemap.xml добавлен в вебмастер, все дочерние xml подсасываются успешно и без ошибок.
sitemap.xml перегенерируется каждый час при появлении новых страниц (но судя по тому, что яндекс читает sitemap раз в несколько дней - смысла перегенерировать так часто отсутствует).
Как было пару месяцев назад:
- 5-10% страниц улетали сразу после первичного обхода роботом как недостаточно качественные (это ОК и не проблема);
- остальные страницы почти моментально залетали в индекс и в выдаче ссылки на сайт были с ярлычком "1 час назад", приятно радовало.
Что есть сейчас:
- небольшая часть страниц все так же улетает как некачественная (это ОК);
- 40% страниц залетает в индекс, но уже не так быстро, как раньше. В основном нахожу свои страницы в выдаче с пометкой "вчера" или "позавчера";
- оставшаяся часть страниц висит в вебмастере со статусом "Страница обходится роботом, но отсутствует в поиске." и в выдаче, понятно, отсутствует.
Вот с последней частью страниц у меня есть недопонимание: никакой доп инфы кроме "ответ сервера 200 ОК" и даты первого обхода для таких страниц не отображается.
Эти страницы висят неделями без изменения статуса. При этом в исключенных страницах в вебмастере они отсутствуют, зато присутствуют в страницах, которые робот обошел и скушал. И без единой ошибки, стоят в списке наравне с успешно проиндексированными и представленными в поиске.
Если некоторые из проблемных страниц (сейчас их тысячи) залить в сервис "Мониторинг важных страниц", то там всё гладко - статус "всё ок, страница в индексе", хотя это не так. Вкладки "Проверить статус URL" и "Мониторинг важных страниц" противоречат друг другу.
Вопрос 1: как сделать так, чтобы эти страницы появились в индексе? Есть идеи где искать ошибку?
Вопрос 2: как сделать так, чтобы страницы в индекс залетали как раньше - моментально?
Есть мнение, что если решить вопрос №1, то вопрос №2 самоликвидируется.
Да с Яндексом непонятно ничего. Есть сайт, тематика такая же как у одного из Яндексовых сервисов, контент +- такойже, уникальный, все сео поля имеются и настроены. Но при это старницы из поиска валятся только так с пометкой недостаточно качественная, хотя у самого Яндекса на аналогичном сервисе все страницы достаточно качественные
Простой
Простой