Как зайти на сайт как поисковый бот?

Question

[Traney]

Нашел скрипт, который проверят кто на сайте, бот ли (поисковой) или человек. Вывожу скриптом текст который должен появлятся, только если на сайте гугл бот. Но не знаю как проверить, работает ли скрипт. Может кто подскажит сервис, способ. Гугл вебмастер, лень добовлять туда сайт.

Answer 1

[Konstantin Kozhin]

Роботы используют собственные UserAgent при отправке HTTP-запросов серверу.

Пример:

66.249.73.134 - - [02/May/2014:13:45:23 +0100] "GET /catalog/ HTTP/1.1" 200 11394 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"

Отсюда видно, что бот Google имеет UserAgent "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.html)".
В вашем браузере меняете UserAgent на тот, что у бота Google - osxdaily.com/2013/01/16/change-user-agent-chrome-s...
Далее заходите на сайт и смотрите на результат.

UserAgent-ы всех ботов приведены тут - www.useragentstring.com/pages/Crawlerlist

Comments

[Traney]

Благодарю за ответ!

Answer 2

[aumk]

жди