Как указать место индексации на сервере?

Question

[Ilya Pavlov]

Как указать поисковикам место(папку) где находятся файлы, которые нужно индексировать? Но ссылка на самом деле другая, то есть на сайте есть страница : site.ru/page.php, но ее содержимое находится в site.ru/pages/page.php . И даже желательно site.ru/pages/page.inc.php, тогда нужно как-то разрешить поисковику индексировать эти файлы. Как? Просто на сайте переход по страницам идет через Ajax, поэтому нужно контент каждой страницы пихать в отдельный файл.

Answer 1

[Иван]

Роботс закрывает от индексации. В вашем случае лучше будет использовать sitemap.
А если по-хорошему, то весь ajax привязывайте к урлам. Идеальный вариант, который я стараюсь соблюдать последние пару лет, это когда при клике на ссылку меняется урл в браузере, но данные обновляются через ajax. Если по этой ссылке перейти, то отображается та же страница, что и подгруженная аяксом. Иными словами при клике на ссылку не должно быть разницы сработает js(ajax) или просто перейдем по ссылке.