Как запретить доступ поисковика к ajax страницам?

Question

[davc]

Здравствуйте, у меня есть сайт где есть много ajax запросов, и у меня возникло такая проблема,
когда я в поисковике пишу название сайта, то он возвращает результат ajax страницы моего сайта, которые не должны быть видны для ползователей. Как можно запретить доступ к таким файлам для броузера, чтобы браузер не возвращал ajax страницы

Answer 1

[Anton Filippov]

robots.txt

Answer 2

[ksnk]

rel="nofollow", добропорядочные поисковики не будут по таким ссылкам ходить.
При отсылке ajax устанавливать специальный заголовок и его проверять на сервере

Comments

[davc]

спасибо за ответ, и честно говоря не понял где надо ставить этот код

[ksnk]

Поисковики ходят по ajax ссылкам - это значит, что такие ссылки явно присутстуют в коде. Вот вот всех ссылках, которые обрабатываются ajax, нужно поставить дополнительный атрибут rel="nofollow".
Второй совет - это про вставку дополнительного заголовка методом setRequestHeader Если используется jQuery, то дополнительный заголовок сам выставляется, нужно только его проверить на стороне сервера

$headers = apache_request_headers();
if($headers['X-Requested-With']=='XMLHttpRequest') { 
...}

[davc]

Спасибо, и до того как вы отвечали я искал в интернете инфо про robots.txt, я все четко настроил через robots.txt и ничего не работал можете помогать если можете?

[davc]

User-agent: Googlebot
Disallow: /top.php

[ksnk]

Про настройку robots.txt - к Антону Филипову. Он ответил передо мной.