Будет ли проиндексирован url отсутствующий в sitemap.xml?

Question

[Сергей Еремин]

Собственно вопрос в subj.

Есть сайт. Там много чего подгружается через $('#id').load('/smth.html'); и в общем не очень ясно что там увидят броузеры. Впрочем это не важно, так как «самый сок» поисковики точно не увидят вследствии того, что ссылки на этот «самый сок» в этих подгружаемых блоках или вообще по URL-ам которые могут появится после обработки запросов POST. Собственно решение — сгенерировать sitemap.xml, положить его на сайт, прописать в robots.txt: Sitemap: http://www.mysite.ru/sitemap.xml и ждать когда все проиндексируется (или скормить sitemap.xml поисковикам по API).

Так как точно известно какие URL-ы поисковики увидеть не смогут, то генератор sitemap.xml написан (будет) только для «невидимых» URL-ов. Писать же генератор вообще для всех URL-ов — лениво. Но есть опасения, что тогда странички отсутствующие в sitemap.xml будут проигнорированы поисковиками (или проиндексированы с другим весом). Известно ли как относятся поисковики к страничкам отсутствующим в sitemap.xml? Они вообще индексируются?

Answer 1

[Natan]

Известно ли как относятся поисковики к страничкам отсутствующим в sitemap.xml? Они вообще индексируются?

Если поисковик найдет страницу, то да, может проиндексировать. Но и наличие ссылки в карте сайта еще не является гарантией обязательной индексации страницы.

Сергей Еремин если есть возможность где-то в футере добавить небольшой линк, то сделайте html карту сайта, в деле перелинковки и улучшения индексации она будет хорошим дополнением к sitemap.xml
Тут бы еще breadcrumbs добавить и сделать грамотную перелинковку текстов, но Вам будет явно лень. :)

Так как точно известно какие URL-ы поисковики увидеть не смогут, то генератор sitemap.xml написан (будет) только для «невидимых» URL-ов. Писать же генератор вообще для всех URL-ов — лениво. Но есть опасения, что тогда странички отсутствующие в sitemap.xml будут проигнорированы поисковиками (или проиндексированы с другим весом).

Боритесь с ленью! Хорошая карта сайта очень важна для любого сайта, ссылки на страницы с важным для индексации контентом там должны присутствовать обязательно.

Comments

[Сергей Еремин]

Спасибо за ответ.

Лень -- это проявление рациональности. :)

Страниц которых поисковик не увидит --- что-то уже под полтора миллиона. И ожидается, что их будет никак не меньше 20-30 миллионов. И каждая такая страница содержит примерно по 10-15 ссылок на коммерческие спецификации (которые обновляются) и могут быть многостраничными. Я не представляю как сделать карту сайта для такого массива страниц..

Хлебные крошки тоже ничего не решат, т.к. это это скорее сервис а не сайт.... помесь гео-поисковика и я.маркета с прайс.ру... т.е. нет жесткой структуры.

Есть страницы которых мало (блог, коммерческие условия, договора, список компаний участников). Таких страниц относительно мало. Скажем 2-5 тысяч всего (в пределе 20 тыс). И на них можно попасть через обычную навигацию, т.к. они не имеют гео-привязку.И городить огород sitemap.xml для не кажется рациональным (сейчас). Возможно после. Но уже сейчас хочется понять будет ли поисковик их индексировать.

[Natan]

Сергей Еремин: поисковик может проиндексировать все страницы, которые найдет. Независимо от того есть они в карте сайта или нет. С учетом габаритов Вашего сервиса Вам бы позадуматься о генераторе карты сайта. Вы явно о этом думали, но наверно тоже лень пока с этим разбираться. :)

Можете попробовать посмотреть всякие готовые генераторы карты сайта, но скорей всего Вам придется писать свой велосипед или переделывать один из существующих.

[Сергей Еремин]

Natan: Т.к. ссылки появляются только после того как пользователь что-то там введет в интерфейс, а сервис ему построит ответ (а ответ надо проиндексировать, ведь то что один построил теперь и другим пригодится). В принципе я могу вычислить все возможные ответы, и построить карту в много миллионов страниц... Но только это же какая-то опупительная страница получится! Если предположить, что длинна URL 20 символов (что скромно) то общий размер HTML-файла карты сайта будет минимум 524Mb! Какой поисковик такое осилит?

[Natan]

Сергей Еремин: о добавлении динамически генерируемых миллионов страниц речи нет, но карту на пару тысяч линков, на наиболее важные страницы со статичными адресами, сгенерить можно. Не руками же собирать. ;)

[Natan]

Сергей Еремин: Размер файлов Sitemap не должен превышать 10 МБ (10485760 байт), и эти файлы не должны включать более 50 000 URL.
Это означает, что если Ваш сайт содержит более 50000 URL или размер файла Sitemap превышает 10 МБ, необходимо создать несколько файлов Sitemap и использовать файл индекса Sitemap. Необходимо использовать файл индекса Sitemap даже для небольшого сайта, если предполагается, что количество URL превысит 50000 или размер файла будет больше 10 МБ. В файле индекса Sitemap может быть перечислено не более 1000 файлов Sitemap. Размер этого файла не может превышать 10 МБ. Кроме того, для сжатия файлов Sitemap можно использовать архиватор gzip.
sitemaps.org

[Сергей Еремин]

Natan: Смо-собой буду делать Sitemap Sitemap-ов... и 10Пи ссылок мне по любому хватит. Кроме того я хочу строить Sitemap по мере запросов пользователей. Пользователь что-то спросил. Я ему построил PIL-ом картинки, построил таблицы, закешировал и добавил в Sitemap... АИ все это на не сильно шустром сервере... А если сразу Sitemap всего-всего-всего сделать -- то поисковик заддосит сервис.

[Natan]

Сергей Еремин: в принципе на Ваш вопрос про индексацию страниц не указанных в sitemap я давно ответил. Если мой ответ был Вам полезен, можете отметить его как решение. :)

Удачи!

Answer 2

[myfirepukan]

Они индексируются если на них есть внутренних или внешние ссылки и поисковики доберутся до этих ссылок. Индексироваться, конечно, они могут несколько медленнее, но когда-то я вообще sitemap не делал и всё в индексе было ))