Как пауки узнают, что страницу пора переиндескировать?

Question

[StrangeAttractor]

Делаю интернет-магазин. В нём довольно много товаров. Писать для всех полноценные тексты - слишком долго и муторно, поэтому я решил сначала завести все товары с кратким формальным описанием, а уже потом на досуге постепенно добавлять развёрнутые, написанные с учётом SEO тексты, meta-keywords и всё такое. Не хотелось бы чтобы поисковики навсегда запомнили описания товаров такими, какими я их делаю сейчас - желательно будет переиндексировать по мере пополнения информации. Как дать им это понять? Может есть какой-то мета-тег или что-то такое, что показывает паукам дату актуализации, например?

Answer 1

[Дмитрий Энтелис]

Есть директивы в sitemap но на практике они игнорируется поисковиками.
Иногда поисковики учитывают дату изменения файла в заголовках, но тоже не всегда.

В целом поисковики перекачивают все страницы за 1-2 недели.

Answer 2

[Vik Ewoods]

www.v9seo.com/blog/2011/12/27/sitemap-xml-why-chan...

Answer 3

[Yakov Akulov]

В robots.txt есть директива
Revisit-after: 7 days
Также может использоваться как мета-тег (но используется не всеми поисковиками)
<meta name="revisit-after" content="7 days">

Часто рекомендуют использовать http заголовки (говорит когда обновлена страница)
Last-Modified:

Есть еще мета-тег
<meta name="date" content="2005-08-01">
Раньше еще сеошники обращали внимание на тег

<META HTTP-EQUIV="expires" CONTENT="Wed, 26 Feb 1997 08:21:57 GMT">

Comments

[cloud-habr]

необходимо также упомянуть что meta name="date" deprecated in html 5

Answer 4

[zooks]

Для начала нужно завести Sitemap.xml, там указывается желаемая частота сканирования:
<changefreq>monthly</changefreq>